Введение
No contents entries on this page
Contents
Topic functions menu
Menu
This is the first topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

High Speed Verifier (HSV) это высокоскоростная программа для проверки адресов электронной почты на существование, HSV может проверять до нескольких тысяч адресов в секунду. Программа прекрасно справляется со списками рассылки из нескольких десятков миллионов адресов; и более того — именно на списках такого объема достигается пиковая производительность программы.

HSV определяет около 20-30% несуществующих адресов в списке рассылки, при теоретически возможном определении программными методами до 60-70% несуществующих адресов. Эта цифра кажется относительно небольшой, но на практике она может составить около 10% от объема проверяемого списка. При этом HSV обеспечивает оптимальный по времени и сетевому трафику режим проверки. Более качественная проверка (позволяющая выявить остальные 40% несуществующих адресов) требует в десять раз больше времени и в пять раз больше сетевого трафика на каждый адрес, что делает качественную проверку не вполне целесообразной для списков большого объема.

High Speed Verifier — это первая профессиональная программа проверки больших списков адресов, созданная профессионалами для профессионалов. Мы надеемся, что использование HSV сделает Ваш бизнес более эффективным и успешным, а работа с программой окажется легкой и приятной.

© 2016 EMMA Labs All rights reserved.


Введение в технологии электронной почты
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Процесс доставки письма почтовым сервером состоит из двух этапов. Вначале он определяет адрес почтового сервера, который принимает письма для адресата (будем называть его Сервер Получателя, СП). Затем он соединяется с этим сервером по протоколу SMTP и передает ему письмо.

Почтовый домен (mail.com для адреса alex@mail.com; а "alex" в данном случае, это почтовый ящик в домене mail.com) обычно отличается от имени почтового сервера который принимает письма для этого адреса. На момент написания этой статьи, письма для alex@mail.com принимали сервера mail-com.mr.outblaze.com и mail-com-bk.mr.outblaze.com. А компьютеры имеющие адреса mail.com и www.mail.com вообще не принимали почты ни для каких адресов. Поэтому напрямую связывать почтовый домен с адресом почтового сервера никак нельзя, зачастую почту принимает компьютер с совсем другим именем.

Для определения адреса СП отправляется запрос в службу DNS, которая и хранит (в том числе) информацию о том, какой почтовый сервер принимает почту для почтового домена.

DNS является распределенной базой данных. Например, сервер DNS ns1.outblaze.com хранит всю информацию о домене mail.com, но ничего "не знает" о других доменах, например о hotmail.com. Сервер ns1.hotmal.com хранит информацию о домене hotmail.com, но ничего "не знает" о других доменах. Есть сервер, отвечающий за домены в зоне .com, который хранит информацию о том, на каких серверах хранится информация о доменах в этой зоне.

Сервер DNS Вашего провайдера не содержит никаких записей о mail.com или hotmail.com. Поэтому когда он получит запрос о имени mail.com, он узнает у сервера отвечающего за зону .com адрес сервера, который содержит информацию о домене mail.com (это будет ns1.outblaze.com), соединиться с ним и вернет Вам ответ. Такое выполнение запроса называется рекурсивным.

Не будем здесь вдаваться в технологию работы DNS (она хорошо описана во многих публичных источниках). Для нас важно знать, что запрос в службу DNS может пройти через несколько серверов DNS в разных частях света, прежде чем Вы получите ответ на запрос. И что за хранение информации о конкретном домене отвечает, в конечном счете, сам владелец этого домена.

Также существует практика кэширования запросов к DNS. Обычно, сервер DNS на несколько дней запоминает результаты рекурсивных запросов, чтобы снизить нагрузку на DNS сервера и ускорить выполнение запросов (информация, на сколько дней можно кэшировать результаты содержится в ответе на запрос). Это означает, что в случае непредвиденных изменений в записях сервера DNS, может пройти несколько дней, прежде чем обновятся кэши других DNS серверов в Интернет, и их пользователи получат обновленную информацию.


Технологии проверки адресов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Для проверки существования адреса электронной почты нужно выполнить те же два этапа, которые выполняет почтовый сервер доставляя письмо адресату (см. предыдущий раздел ). Во-первых, надо определить адрес сервера, принимающего почту для этого адресата. Во-вторых, надо соединиться с почтовым сервером, и "спросить" его, может ли он принять письмо для пользователя с таким-то электронным адресом.

К сожалению, при помощи этого метода удается определить только около 2/3 несуществующих адресов, а оставшуюся часть несуществующих адресов определить программными методами невозможно. Проблема в том, что некоторые почтовые сервера настроены так, что они принимают все письма для своего почтового домена, но если указанного ящика в домене не существует, то сервер посылает отправителю ответ по электронной почте с сообщением, что полученное им письмо он не может доставить.

По имеющейся статистике, из этих 2/3 несуществующих адресов, около 30% несуществующих адресов выявляется на первом этапе проверки, и 70% на втором этапе. Второй этап проверки в среднем требует в 10 раз больше времени и в пять раз больше сетевого трафика, чем первый этап. Практически, двухэтапная проверка требует почти столько же времени и трафика, сколько и отправка небольшого письма на проверяемый адрес.

Рассмотрим подробнее оба этапа. На первом этапе проверяющая программа выполняет синтаксический разбор адреса электронной почты, выделяет почтовый домен и отправляет запрос к серверу DNS на получение адреса почтового сервера для этого домена. Работа с сервером DNS осуществляется по протоколу UDP, этот протокол более быстр, чем протокол TCP, так как он не ориентирован на установление соединения между серверами. Обычно, время выполнения запроса к серверу DNS не превышает 1..2 секунд, и за это время отправляется один пакет с запросом (около 60 байт, вместе с заголовком пакета) и принимается один пакет с ответом (не более 512 байт; обычно не более 200..300). Соответственно, на этом этапе отсеиваются все синтаксически неверные адреса, и адреса с несуществующих доменов.

На втором этапе осуществляется подключение к почтовому серверу по протоколу SMTP (базирующемся на TCP). Протокол TCP ориентирован на соединение, поэтому вначале соединяющиеся сервера отправляют служебные пакеты для установления соединения. После установления соединения, сервера обмениваются приветствиями (см. первые три строки в журнале ниже); затем сообщается адрес отправителя, и принимающий сервер подтверждает, что готов принять почту с такого адреса; после чего сообщается адрес получателя письма:

< 220-ns.watson.ibm.com ESMTP Sendmail AIX4.3/8.9.3/8.9.0

< 220 Thu, 22 Aug 2002 20:44:07 +0500

> HELO cisco.my.net

< 250-ns.watson.ibm.com Hello cisco.my.net [12.44.72.94],

< 250 pleased to meet you

> MAIL FROM:<verify@testmail.com>

< 250 <verify@testmail.com>... Sender is valid.

> RCPT TO:<noshuchaddress@ibm.com>

< 550 <noshuchaddress@ibm.com>... User unknown

> RSET

< 250 Resetting the state.

> QUIT

В данном случае, принимающий сервер ответил, что ему неизвестен пользователь с адресом noshuchaddress@ibm.com и отказался принимать для него почту, и после этого сервера обменялись командами для завершения соединения. Сервера во время проверки адреса в сумме послали друг другу десять сообщений, суммарным размером около 500 байт; но для их пересылки потребовалось обменяться более чем 20 пакетами, и суммарный трафик составил около двух килобайт. Причем большую часть времени заняло ожидание ответа от другого сервера.

High Speed Verifier предлагается как решение для быстрого удаления мусора из многомиллионных списков. Ее производительность в силу число технических причин в 10..15 раз превосходит производительность AMV на небольших списках, а на списках с миллионами адресов производительность программ может уже отличаться в сотни раз. Рост производительности HSV при увеличении длинны проверяемого списка объясняется тем, что HSVкэширует в оперативной памяти результаты всех запросов к серверам DNS, и чем длиннее проверяемый список, тем выше процент попаданий в кэш.


Техническое описание работы
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Общее описание технических принципов работы HSV приведено в предыдущем разделе. В данном разделе будут описаны алгоритмы работы программы, знание которых позволит использовать программу более эффективно.

По результатам проверки HSV разделяет все адреса на четыре группы — существующие, адреса которые не удалось проверить (непроверенные), несуществующие и синтаксически некорректные адреса. Обратите внимание, что нельзя сохранить некорректные и несуществующие адреса в разные файлы при окончании работы программы - некорректные и несуществующие адреса сохраняются всегда в один файл, в файл с несуществующими адресами.

HSV при проверке адреса электронной почты выполняет следующие действия. Вначале выполняется синтаксический разбор адреса электронной почты, выделяется почтовый домен из адреса. Из домена выделяется домен первого уровня (например, .com для mail.com) и проверяется по имеющемуся у программы списка зон первого уровня (это файл zones.txt в каталоге с программой). Если адрес не проходит синтаксический разбор, или не совпадает со списком зон первого уровня, то такой адрес считается некорректным.

После этого HSV отправляет запрос к серверу DNS на получение адреса почтового сервера для этого домена. Соответственно, если получен список серверов принимающих почту для этого домена, то адрес считается существующим. Если адрес вообще не найден в DNS или нет почтовых серверов, которые принимают для него почту, то такой адрес считается несуществующим. Если сервер DNS не смог вернуть никакого ответа (как Вы знаете из первого раздела, запросы обычно выполняются рекурсивно, и вполне возможна ситуация, когда DNS сервера обслуживающие интересующий программу домен просто физически недоступны), то такой адрес считается непроверенным.

Результат проверки домена программа запоминает во внутреннем кэше, и если в списке рассылки встретится еще один адрес с этого домена, то HSV не будет вновь обращаться к серверу DNS, а сразу получит результат из своего внутреннего кэша. Кэш программы ограничен лишь объемом оперативной памяти. На запоминание результатов проверки одного домена требуется 40 байт оперативной памяти. Соответственно, для запоминания результатов проверки миллиона разных доменов требуется 40 мегабайт. Поиск в кэше практически не зависит от его размера.

Проверка списка из миллиона адресов с одного домена при помощи HSV занимает 2..4 минуты на современном компьютере. Соответственно, разница во времени между проверкой списка рассылки из 50000 адресов с уникальных доменов, и проверка списка из миллиона адресов с 50000 уникальных доменов составит не более 2..4 минут, а на практике может составить разницу всего в несколько секунд (за счет многопоточной работы программы).

Поэтому чем больше обрабатываемый HSV список, тем выше будет производительность программы. HSV может потратить пару часов на проверку первого миллиона адресов из списка, и по десять минут на проверку каждого следующего миллиона адресов из этого списка.

Большое влияние на производительность программы оказывает качество списка DNS серверов, с которыми работает программа. При проверке адреса HSV посылает серверу DNS запрос, и если в течении 30 секунд не получает от сервера ответа, то посылает запрос еще раз. Если после трех попыток ответ не был получен, то проверка завершается с ошибкой "Таймаут". Программа предпринимает пять попыток проверить адрес, если его проверка завершилась с ошибкой. Для каждой следующей попытки сервер DNS выбирается из списка случайным образом. Если все пять попыток завершились с ошибкой, то адрес помечается как непроверенный.

Чем больше список DNS серверов с которыми работает программа, тем меньше вероятность того, что один или два начавших отказывать сервера DNS окажут влияние на производительность программы.

HSV работает в многопоточном режиме, Вы можете установить число потоков от одного до 600. Один поток используется для проверки одного адреса. Соответственно, если используется 600 потоков, то одновременно проверяется 600 доменов, и за минуту программа посылает до 15000 запросов к серверам DNS, при этом в пике сетевой трафик может составить до 700 kbps. Создание такой нагрузки на один сервер DNS очень похоже на хакерскую атаку с целью нарушить его работу. Поэтому программное обеспечение сервера DNS может заблокировать Вас до выяснения причин системным администратором. Также возможно, что DNS сервер будет обрабатывать не более определенного числа запросов в секунду с Вашего адреса, игнорируя остальные пакеты, чтобы сохранить ресурсы для обработки запросов других пользователей сервера. В этом случае скорость работы программы резко снизится, адреса будут проверяться по несколько раз, так как предыдущие попытки проверить их завершились по таймауту.

Соответственно, если Ваше сетевое подключение способно обеспечить работу более чем полусотни потоков, то Вам необходимо иметь список DNS серверов из расчета один сервер на десять потоков. Тогда можно быть уверенным, что сервера не будут отказывать из-за перегрузки.


Насколько мертвы мертвые адреса?
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Что такое мертвый адрес? Это, во-первых, синтаксически некорректный адрес. Такой адрес будет мертвым всегда. Это, во-вторых, адрес с домена, который никем не куплен или от продления оплаты которого в регистрационной службе отказались. Такой адрес может вновь стать "живым", если кто-нибудь купит домен. Это, в третьих, адрес с домена который куплен, но который не прописан в DNS или для него не прописаны адреса почтовых серверов в DNS. Есть домены, которые купили только ради хорошего звучания, но все что он делает - переправляет посетителей с него на основной сайт компании; в таком домене адрес электронной почты обычно не нужен. Такие адреса могут ожить в любой момент, как только у владельцев домена поменяются планы в его отношении. Есть домены, у которых из-за технических или организационных проблем сегодня адреса DNS указывают на посторонние компьютеры, на которых уже не размещается служба DNS или которые вообще отключены. Но завтра ошибку исправят, кэши серверов DNS обновятся и дня через три эти адреса снова оживут.

И жизнь домена, и жизнь адреса электронной почты в этом домене достаточно условны. Какой-то процент адресов умирает безвозвратно, какой-то снова возродиться через день, часть адресов возродиться через месяц. Кто-то снова купит умерший домен через год, и ящик webmaster@ опять станет рабочим.

Мы провели следующий тест. Проверили список адресов, затем проверили полученный список плохих адресов еще раз. При этой проверке было обнаружено 0.65% существующих адресов. При проверке оставшегося списка несуществующих адресов было обнаружено еще 0.3% существующих адресов. Так мы повторяли прогон несколько раз, и каждый раз число найденных существующих адресов в списке плохих уменьшалось в несколько раз — до сотых долей процента от общего объема списка. Всего в результате нескольких прогонов было обнаружено около 1.1% существующих адресов (от объема списка несуществующих адресов). Прогоны проводились в течение двух дней.

Список "воскресших" адресов был проверен HSV — и в нем оказалось всего 30% существующих адресов, еще 70% вновь оказались несуществующими. При проверке оставшихся "воскресших" адресов спустя день, среди них оказалось всего 33% существующих. Итого, от списка воскресших адресов осталось всего 9% от его начального размера. Или 0.1% от объема списка несуществующих адресов.

Можно считать, что нестабильных — полумертвых — адресов в списке около 1% от найденных несуществующих адресов. И 90% нестабильных адресов остаются ими по крайней мере в течении нескольких дней.

По нашему исследованию, нестабильность большинства адресов электронной почты имеет простое объяснение. Программное обеспечение значительной части DNS серверов настроено так, что при невозможности получить ответ на рекурсивный запрос (см. раздел "Введение в технологии электронной почты") они возвращают результат "Сервер не найден". Было бы правильней вернуть другой код ответа, указывающий на проблемы при выполнении запроса — тогда High Speed Verifier имел бы возможность выполнить запрос еще раз через другой сервер. Часть серверов DNS так и поступают, и HSV предпринимает пять попыток проверить адрес через разные сервера DNS, в конце концов добиваясь результата или помечая адрес как непроверенный.

Получается, что если DNS сервер подключен к Сети через перезагруженный и нестабильно работающий канал, то и адреса электронной почты на обслуживаемом им домене оказываются нестабильными.

Как уже говорилось выше, мертвый адрес — это относительное понятие, которое с течением времени может меняться. Если Вы собираетесь делать многомиллионную рассылку, то Вам стоит исключить из нее все адреса, которые HSV пометил как непроверенные или плохие. Так как письма на 99% этих адресов все равно не будут доставлены; а 1% писем будет доставлен после многочасовых попыток.

Но выбрасывать список плохих адресов не стоит — если у Вас есть миллион плохих адресов, то через неделю, возможно, Вы выудите из этого списка около десятка тысяч оживших.


Диагностика и оптимизация
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Резюмируя изложенное в предыдущих статьях справочной системы, можно сформировать ряд правил, соблюдение которых позволит достичь оптимальной производительности программы:

1.Старайтесь проверять списки рассылки как можно большего размера, оптимальными являются списки из нескольких миллионов адресов.

2.Также помните, что чем больше в списке адресов из одного домена, тем быстрее он проверяется. Проверка миллиона адресов с одного домена занимает 2..4 минуты.

3.Ни в коем случае не используйте сервера DNS не прошедшие тестирование.

4.Старайтесь избегать использования серверов DNS, не прошедших все 12 тестов из 12, а также медленных серверов DNS.

5.Не используйте менее пяти серверов DNS, а при большом числе потоков используйте не менее одного сервера на каждые десять потоков. Несоблюдение этих правил может привести к нарушению функционирования компьютерных сетей.

6.Увеличение числа потоков не всегда приводит к увеличению производительности. Некоторые операционные системы плохо справляются с большим числом потоков; требуемая большому числу потоков ширина канала может превзойти имеющуюся, и тогда при дальнейшем увеличении числа потоков производительность будет только падать.

7.Помните, что список серверов DNS требует регулярной проверки и обновления.

Симптомами того, что программа работает не оптимальным образом, может служить следующее:

1.Число ошибок DNS при проверке списка больше либо равно половине обработанных программой доменов.

2.Наблюдается низкая загрузка процессора и низкая загрузка Интернет-канала.

3.Скорость проверки гораздо меньше, чем можно ожидать при Вашей скорости подключения к Интернет. При условии, что проверка одного домена (не адреса) требует 300..400 байт сетевого трафика, Вы можете рассчитать максимально возможное число проверяемых в секунду доменов. Так, для 33.6 кбит/c это около 10..15 доменов. Обратите внимание, что при неоднородном списке адресов показатель скорости проверки адресов может вводить в заблуждение.

Для диагностики следует предпринять следующие шаги:

1.Проверьте еще раз список серверов DNS. Возможно, что некоторые сервера стали работать медленно или вообще перестали работать.

2.Убедитесь, что размер списка серверов DNS соответствует рекомендациям в этой статье. Помните, что увеличение списка за счет новых быстрых серверов никогда не окажет отрицательного влияния на производительность программы.

3.Откройте монитор, показывающий загрузку Интернет-канала и загрузку процессора (см. руководство по операционной системе). Плавно изменяя число потоков при проверке списка адресов, добейтесь оптимального соотношения отображаемой программой скорости проверки с загрузкой Интернет-канала и процессора. Ориентируйтесь не только на показатель скорости проверки адресов, но и на скорость изменения числа проверенных доменов, так как на неоднородных списках показатель скорости может вводить в заблуждение.

4.Проследите изменения счетчика ошибок DNS, и скорректируйте число потоков если счетчик ошибок будет нарушать критерии оптимальности.


Окно проверки серверов DNS
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

На этой странице мастера Вы создаете список серверов DNS и проверяете их. На следующую страницу мастера можно перейти только имея набор из проверенных серверов DNS.

При первом запуске программа импортирует список DNS серверов из настроек Вашего компьютера, однако для большинства применений списка из одного-трех серверов может оказаться недостаточно (см. статью "Техническое описание работы"). Мы рекомендуем иметь не менее пяти серверов DNS, или не менее одного сервера DNS на каждые десять потоков проверки (см. "Окно проверки списка").

Редактирование списка серверов.

Добавить сервер DNS в список можно, нажав на кнопку "Добавить DNS". Также можно нажать кнопку INSERT, если фокус ввода находится на списке серверов (для этого можно, например, предварительно щелкнуть по списку мышкой).

Чтобы добавить список из нескольких серверов, нажмите SHIFT+INSERT (фокус ввода должен быть на списке) и адреса серверов из буфера обмена будут добавлены в список. При копировании данных из буфера обмена считается, что в каждой строке находится один сервер, пробелы вокруг имени сервера игнорируются.

Для удаления сервера из списка выделите его и нажмите клавишу DELETE или BACKSPACE.

Также описанные выше команды доступны через контекстное меню, вызываемое по нажатию правой кнопки мыши.

Загрузка списка серверов с нашего сайта.

Загрузка списка серверов DNS с нашего сайта осуществляется по протоколу HTTP. При этом программа использует настройки Microsoft Internet Explorer. В случае проблем с загрузкой списка следует в первую очередь проверить настройки Microsoft Internet Explorer и возможность просматривать сайты в Интернет при помощи этого браузера. Также рекомендуется ознакомиться со статьей "Работа через прокси-сервер", если Вы подключены к Интернет через прокси-сервер.

За одно подключение HSV загружает список из 150 серверов, выбирающихся случайным образом из большого списка на сервере. Также имеется ограничение, что программа не может загрузить с сервера более 150 серверов в календарные сутки.

Проверка серверов DNS.

Проверка серверов является очень важной операцией. Если Ваш список протестирован лишь на половину, то мастер позволит Вам перейти на следующую страницу, но при этом Вы рискуете качеством и скоростью работы программы.

Также стоит обратить внимание на то, что список серверов нуждается в повторных проверках и обновлениях с интервалом в несколько дней. Через командную строку программы Вы можете настроить автоматическое выполнение этой операции.

Использование непроверенных серверов, или ненадежных серверов (которые прошли большинство тестов HSV, но не все) чревато как очень сильным замедлением работы программы, так и (потенциально, в исключительных случаях) к ее некорректной работе. Техническое обоснование этих утверждений изложено в статье "Техническое описание работы". Поэтому мы настоятельно рекомендуем внимательно отнестись к предложениям мастера.

Также мастер может предложить удалить все медленные или ненадежные сервера. Ненадежным считается сервер, который прошел только 11 тестов из 12. Если сервер прошел меньше тестов, то такой сервер считается плохим. Использование ненадежных серверов потенциально может привести к получению некорректных результатов, а использование медленных серверов — к существенному замедлению работы.


Окно выбора файлов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

High Speed Verifier поддерживает обычные текстовые файлы, содержащие в каждой строке по одному адресу электронной почты. Адреса могут быть записаны в любом общепринятом формате:

John Smith <jsm@mail.com>

"John Smith" jsm@mail.com

jsm@mail.com

"John Smith" <jsm@mail.com>

Среди прочих форматов, поддерживается только формат файлов .CSV (Comma Separated Values, значения разделенные запятыми).

При проверке программа разделяет адреса на три группы - непроверенные, существующие и несуществующие (см. "Техническое описание работы"). Соответственно, вы можете выбрать три разных выходных (output) файла, в которые будут сохранены результаты работы программы.

Если имена двух выходных файлов совпадают (например, имена файлов для сохранения существующих и непроверенных адресов), то будет создан один файл, в который будут записаны адреса из обеих групп (соответственно, существующие и непроверенные адреса для нашего примера). Если имена всех трех выходных файлов совпадают, то результатом работы программы будет один файл, являющийся точной копией исходного файла — т.е. фактически ничего кроме копии исходного файла на диске и возможности наблюдать за процессом проверки Вы не получите.

При сохранении результатов на диск они вначале помещаются во временный файл. Поэтому имя любого выходного файла может совпадать с именем исходного файла — вначале результаты попадут во временный файл, а после окончания проверки исходный файл будет заменен временным файлом. По этой же причине Вы можете безболезненно прервать работу программы на втором шаге процесса проверки (шаге сохранения результатов) — результаты будут потеряны, но исходный файл не будет поврежден ни в коем случае.

Обратите внимание, что незарегистрированная копия программы сохраняет только первые 5000 проверенных адресов. Сохранение непроверенных и несуществующих адресов доступно только в зарегистрированной версии. Поэтому незарегистрированная копия программы выдает предупреждение на последней странице мастера, если имя выходного файла совпадает с входным файлом — Вы можете потерять часть адресов, если исходный файл содержит более 5000 адресов.


Окно проверки адресов
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Проверка адресов происходит в три шага:

·обработка исходного файла

·сохранение результатов в выходные (output) файлы

·освобождение ресурсов выделенных программе на первом шаге.

Шаг 1/3: обработка исходного файла.

Происходящий процесс отображается при помощи индикаторов в окне Статистика:

·Загружено строк — число строк, загруженных из исходного файла. Часть этих строк уже обработана, а часть находится в обработке — для адресов из этих строк выполняются запросы к серверам DNS.

·Хороших адресов — число адресов проверенных и признанных существующими.

·Непроверенных — число адресов, которые оказалось невозможно проверить (см. "Техническое описание работы").

·Плохих адресов — проверенные адреса, признанные несуществующими.

·Некорректных адресов — число строк содержащих синтаксически некорректные адреса. Эти адреса при сохранении результатов сохраняются в файл с несуществующими адресами.

·Обработано доменов — число уникальных почтовых доменов обработанных программой. В списке может быть много адресов с одних и тех же доменов, поэтому обычно этот индикатор показывает меньшее число, чем сумма существующих, несуществующих и непроверенных адресов.

·Обрабатывается доменов — для скольких доменов сейчас выполняются запросы к серверам DNS. Это число регулируется ползунком (slider) изменения числа потоков (см. ниже).

·Ошибок DNS — сколько ошибок при выполнении запросов к DNS произошло. Считается, что сервер DNS должен ответить, есть ли для данного домена сервера принимающие почту или нет (см. "Технологии проверки существования адреса"). Однако часто сервер DNS не может дать ответ из-за недоступности сервера, который непосредственно содержит информацию о запрашиваемом домене, и возвращает сообщение об ошибке. Также предпринимается несколько попыток проверить такой адрес через разные сервера DNS из списка, и один "нестабильный" адрес увеличивает число ошибок на несколько единиц. Ошибки могут возникнуть также из-за перегруженности Вашего Интернет-соединения, (например, из-за превышенного числа потоков, см. ниже). Считается нормальным, если счетчик ошибок показывает число в три-четыре раза меньшее, чем число обработанных доменов. В противном случае см. "Диагностика и оптимизация".

·Прошло времени — сколько времени продолжается проверка, в формате ЧЧ:ММ:СС.

·Скорость (адресов/сек) — показывает среднюю скорость проверки адресов за последние 30 секунд. В конце проверки исходного файла значение индикатора обычно падает до единиц, или даже до десятых долей. Это происходит потому, что в списке заданий остаются домены, которые не удалось проверить с первого раза из-за таймаутов, и программа предпринимает попытки проверить эти адреса через другие сервера. Проверка последних доменов может иногда занять 1..3 минуты.

Под окном Статистика находится ползунок (slider) управляющий числом одновременно исполняемых запросов к серверам DNS (или числом потоков программы, threads). Вы можете установить число потоков от одного до 600. Если используется 600 потоков, то одновременно проверяется 600 доменов, и за минуту программа посылает до 15000 запросов к серверам DNS, при этом в пике сетевой трафик может составить до 700 kbps.

В зависимости от результатов тестирования Вашего списка серверов DNS, High Speed Verify высчитывает приблизительную ширину сетевого канала, требуемую для функционирования одного потока, и отображает ее над ползунком.

Если Вы собираетесь использовать программу с числом потоков более 50, то обязательно ознакомьтесь со статьей "Техническое описание работы". Бездумное увеличение числа потоков может привести не к росту производительности программы, а к увеличению числа ошибок и существенному снижению производительности. В некоторых сетях, если список DNS-серверов мал, а число потоков велико, это может привести к отказу DNS серверов в обслуживании других пользователей, что приведет к сбою в функционировании или даже выходу из строя компьютерной сети. Также прочитайте, пожалуйста, статью "Диагностика и оптимизация".

Шаг 2/3: сохранение результатов.

На этом шаге программа сохраняет результаты работы на диск. При этом сохраняемые данные вначале помещаются во временный файл. Поэтому имя любого выходного файла может совпадать с именем исходного файла — вначале результаты попадут во временный файл, а после окончания проверки исходный файл будет заменен временным файлом. По этой же причине Вы можете безболезненно прервать работу программы на втором шаге процесса проверки (шаге сохранения результатов) — результаты будут потеряны, но исходный файл не будет поврежден ни в коем случае. Подробнее смотри в статье "Окно выбора файлов".

Шаг 3/3: освобождение ресурсов.

Третий шаг, освобождение выделенных ресурсов, является обязательным шагом который нельзя прервать или отменить. Этот шаг выполняется даже если первый или второй шаг был прерван. На этом шаге программа освобождает память, выделенную для хранения промежуточных результатов.


Работа из командной строки
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Общий синтаксис запуска программы из командной строки:

HSV.EXE source valid [[unverified [bad]] [-download] [-test] [-suggest] [-exit]

Где:

source | Имя исходного файла. Обязательный параметр.
valid | Имя файла для сохранения существующих адресов (см. "Окно выбора файлов"). Обязательный параметр.
unverified | Имя файла для сохранения адресов, которые не удалось проверить. Опционально.
bad | Имя файла для сохранения несуществующих адресов. Опционально.
-download | Ключ указывающий мастеру на необходимость загрузить список серверов DNS с сайта программы. См. "Окно проверки серверов DNS". Сокращенное написание: -D. Опциальный ключ. В случае ошибки при загрузке, работа мастера будет приостановлена
-test | Ключ указывающий мастеру на необходимость протестировать список серверов DNS. См. "Окно проверки серверов DNS". Сокращенное написание: -T. Опциальный ключ. Если в результате теста не будет обнаружен ни один хороший сервер, то работа мастера будет приостановлена.
-suggest | Ключ указывающий мастеру на согласие пользователя следовать его советам. См. "Окно проверки серверов DNS". Сокращенное написание: -S. Опциальный ключ.
-exit | Выйти из мастера после УСПЕШНОГО завершения задания. Сокращенное написание -E. Опциональный ключ.

Программа может запускаться из командной строки для проверки файла, тогда первые два параметра ("source" и "valid") являются обязательными, а все остальные — опциональными.

Вы можете при помощи планировщика заданий Windows создать задание со следующей командной строкой для обновления списка серверов по расписанию.:

HSV.EXE –download –test –suggest –exit

В режиме работы из командной строки, ключ -suggest означает согласие с рекомендациями мастера, и приводит к удалению плохих, медленных и ненадежных серверов согласно его рекомендации, если таковые присутствуют в списке.

Порядок следования ключей -download, -test, -suggest, -exit значения не имеет, но эти ключи должны следовать обязательно за именами файлов. Регистр написания ключей и их сокращений значения не имеет.

Примеры правильного запуска программы:

HSV.EXE “C:\My Documents\mlist.txt” c:\work\exist.txt c:\work\unv.txt c:\work\bad.txt

HSV.EXR maillist.txt ..\valid.txt –download –test –suggest

HSV.EXR maillist.txt ..\valid.txt –d –t –s –e

HSV.EXR maillist.txt ..\valid.txt –e -t

Примеры неправильного запуска программы:

HSV.EXE “C:\My Documents\mlist.txt”

HSV.EXR -download -test maillist.txt ..\valid.txt

HSV.EXR maillist.txt –d –t –s –e

Также программа может запускаться из командной строки только для обновления или проверки списка адресов. В этом случае имена обрабатываемых файлов не указываются, в командной строке должен присутствовать как минимум один из трех ключей из набора -download, -test, -suggest, а ключ -exit можно использовать только при наличии в командной строке одного из обязательных ключей.

Примеры правильного запуска программы в этом режиме:

HSV.EXE –download –test –suggest -exit

HSV.EXR -D -T -suggest


Работа HSV через прокси-сервер

EMMA Labs website

Navigation: Продвинутые возможности:

Работа через прокси-сервер
No contents entries on this page
Contents
Topic functions menu
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Прокси-сервер необходим, если Ваш компьютер не имеет прямого подключения к Интернет. HSV работает с серверами DNS по протоколу UDP, а список серверов DNS загружается с нашего сайта по протоколу HTTP.

При загрузке списка серверов DNS программа использует настройки Microsoft Internet Explorer. Если Вы можете просматривать сайты в сети при помощи Microsoft Internet Explorer, то HSV должен также без проблем загрузить список серверов с нашего сайта. Проблема возможна в единственном случае — когда прокси-сервер требует в авторизацию (ввод имени и пароля пользователя). В этом случае обратитесь к системному администратору Вашей сети, чтобы он изменил схему авторизации так, чтобы Вам не приходилось вводить реквизиты доступа вручную.

К сожалению, для работы с серверами DNS настройка проходит более сложно. Программы типа Socks Capture не могут обеспечить корректную работу HSV. Единственная возможность настроить HSV — это выполнить отображение портов (port mapping) серверов DNS на порты Вашего прокси-сервера.

Пусть адрес Вашего прокси-сервера будет 192.168.1.1. И у вас есть список из нескольких серверов DNS:

NS1.SOMESITE.COM

NS2.SOMESITE.COM

NS3.SOMESITE.COM

Ваш системный администратор должен отобразить:

порт UDP 53 сервера NS1.SOMESITE.COM на порт 53 прокси-сервера

порт UDP 53 сервера NS2.SOMESITE.COM на порт 54 прокси-сервера

порт UDP 53 сервера NS3.SOMESITE.COM на порт 55 прокси-сервера

Тогда Вы в HSV должны ввести следующий список серверов (обратите внимание, что если порт не указан, то считается что это порт 53 — стандартный порт для службы DNS):

192.168.1.1

192.168.1.1:54

192.168.1.1:55

Обратите внимание, что загруженные с нашего сайта DNS сервера в этом случае придется перенести из HSV в настройки прокси-сервера, и ввести в HSV адреса отображенных портов на прокси-сервере.


Emex 3
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

EmEx 3 предназначен для сбора информации (e-mail адресов, номеров телефонов, номеров ICQ/MSN/Skype и многого другого) из публичных источников, размещенных в сети Интернет.

При создании EmEx были решены наиболее частые задачи, с которыми сталкивались пользователи нашего популярного продукта Advanced Email Extractor (AEE), а так же учтены новейшие технологии защиты e-mail адресов от подобного сбора.

Интерфейс пользователя стал проще и удобнее, а возможности программы - практически неограниченны.

Более 300 поисковых машин по всему миру могут обрабатывать ваши запросы. Мы постоянно отслеживаем актуальность баз данных скриптов для обработки результатов ответов от поисковых машин, поэтому вам не придется обновлять программу если поисковая машина изменила формат возвращаемых данных. При каждом запуске EmEx 3 вы получите обновленные настройки для поиска.

Посмотрите на краткий перечень возможностей EmEx 3 и убедитесь сами:

·Поиск как с заданного источника, так и по поисковым машинам

·Одновременный поиск по более чем 300 поисковым машинам мира

·Поддержка авторизации по HTTP или через веб форму

·Ограничение поиска по стране, доменной зоне или кодовой странице документа

·Гибко настраиваемый фильтр исключений

·"Черный" и "Белый" списки

·Список игнорируемых доменов

·Фильтр ключевых слов, поддерживающий логические выражения

·Фильтр ограничения активности запросов к сканируемым сайтам (анти-хаммер)

·Работа по расписанию

·Динамическая замена содержимого документа

·Маскировка по User-Agent

·Фильтрация по MIME типам

·Многопоточное сканирование, позволяющее обрабатывать до 50 ссылок одновременно

·Ограничение скорости загрузки

·Постоянно обновляемые скрипты для распознавания собираемой информации

·Использование прокси серверов

·Обновляемые списки прокси серверов1

·Возможность создания собственных схем для сбора информации2

·И многое другое!.


Mailing List Wizard
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Mailing List Wizard (MLW) поможет Вам выполнить обработку и преобразование списков рассылки. Программа умеет исключать из списков дублирующиеся адреса, исправлять неправильно написанные адреса по уникальным алгоритмам, фильтровать списки по разным критериям, объединять списки, делать исключение из списка адресов по дополнительному списку. MLW умеет обогащать список рассылки именами владельцев адресов по информации из других списков, удалять имена владельцев адресов из списков рассылки, сортировать адреса в списках рассылки и многое другое. MLW это одна программа, которая включила в себя функции сразу несколько программ по обработке списков рассылки.

Описание операций Mailing List Wizard:

·Удаление дублирующихся адресов

·Объединение двух списков

·Исключение адресов из списка

·Обогащение списка (добавление имен пользователей)

·Обеднение списка (удаление имен пользователей)

·Исправление неправильных адресов

·Фильтрация адресов по маскам, регулярным выражениям и подстрокам

·Сортировка адресов в списке рассылки

Вы можете загрузить пробную версию MLW с нашего веб-севера и попробовать ее в работе.


Регистрация программы
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Регистрация программы платная После регистрации программы Вам будет выслан ключ, который снимет с программы все ограничения. Ключ будет работать и со всеми будущими версиями Mailing List Wizard.

Наша компания принимает все виды оплаты от физических и юридических лиц, предоставляя покупателям необходимые для отчетности финансовые документы. Перейти на страницу регистрации программы можно по прямой ссылке http://www.massmail.ru/purchase/

Приобретая программу легально, Вы стимулируете автора развивать и совершенствовать программу, которая нужна Вам, помогаете создавать в России цивилизованный рынок программного обеспечения.


Ограничения незарегистрированной копии
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Незарегистрированная копия High Speed Verifier полностью функциональна за исключением одного ограничения - она обрабатывает не более 1000 адресов из списка рассылки. Запросы незарегистрированных пользователей в службу поддержки обрабатываются с меньшим приоритетом.

После регистрации Вы получите серийный номер, который снимет с программы все ограничения. Ваш серийный номер будет работать и со всеми будущими версиями High Speed Verifier.


Сайт в Интернет
No contents entries on this page
Menu
Go to previous topic
Go to home topic
Go to next topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

На веб-сайте вы можете узнать последние новости, подписаться на список рассылки о программе и скачать последнюю версию программы. Помимо High Speed Verifier, на нашем сайте Вы найдете еще несколько полезных программ - Advanced Email Extractor, Mailing List Wizard и другие.

Не забывайте заходить на наш сайт, мы всегда рады видеть вас! Пожалуйста, обращайтесь в службу технической поддержки, если у вас возникли вопросы, предложения или пожелания.


Техническая поддержка
No contents entries on this page
Menu
Go to previous topic
Go to home topic
This is the last topic

  • Scroll to top of this topic Scroll to Top of Page

  • Print the current topic Print Topic

  • No expanding elements on this page Show/Hide Expanders

Мы обещаем ответить на ваше письмо, если Вы будете придерживаться следующих правил, когда обращаетесь в службу технической поддержки:

·Если Ваш вопрос касается некорректной работы программного обеспечения, то не забудьте сообщить версию операционной системы, пакета обновления и установленного Microsoft Internet Explorer.

·Пожалуйста, сообщите все дополнительные детали, какие сочтете нужными, чтобы разработчики могли в точности воспроизвести вашу ситуацию.

·Ознакомьтесь со списком в Интернет, возможно, что необходимое уже добавлено или исправлено в более новой версии.

·Уважайте чужое время. Мы знаем, где скачать самый лучший мейлер и знаем, почему ваша звонилка не ловит сигнал "занято". Но мы Вам этого не скажем.

·Если Вы зарегистрированный пользователь, то сообщите в письме Вашу регистрационную информацию. Это позволит нам обработать Ваш запрос быстрее.

Связаться со службой технической поддержки можно через web сайт. Также рекомендуем посетить наш сайт в Интернет, на котором можно найти дополнительную информацию о программе.