Вход для пользователей
Логин
Пароль
Забыли пароль? Регистрация


Все новости

Новости

21.06.2018

Расширения в браузеры

Для удобства использования прокси(addons) мы сделали расширения для всех браузеров


04.06.2018

Увеличение количества прокси и новый тариф

Мы повысили количество прокси и добавили новый VIP тариф. А также дали возможность протестировать его бесплатно!


12.02.2018

Обновите ссылки на списки прокси

Теперь у каждого пользователя своя ссылка на список прокси. Старые перестанут работать 1-ого марта. Обновите ссылки!




Полный список

Бесплатные прокси

109.105.51.122:40396
 Czechia
109.192.91.198:53701
 Germany
109.104.252.24:40080
 Italy
103.250.73.228:9050
 Japan
109.163.195.226:34725
 Kazakhstan
109.205.122.153:58972
 Latvia
104.244.72.171:57480
 Luxembourg
128.199.39.155:3128
 Netherlands
109.106.136.6:9999
 Russia
109.167.113.9:33508
 Spain
160.119.210.145:23500
 Swaziland
147.75.113.74:51117
 Switzerland



A-Parser - многопоточный парсер для профессионалов

25.04.2018

A-Parser - многопоточный парсер поисковых систем, сайтов, ключевых слов, контента. Включающий в себя различные парсеры, такие как:



  • Парсеры поисковых систем: SE::Google Google, SE::Yandex Yandex, SE::AOL AOL, SE::Bing Bing, SE::Baidu Baidu, SE::DuckDuckGo DuckDuckGo, SE::MailRu Mail.Ru, SE::QIP QIP, SE::Yahoo Yahoo, SE::Seznam Seznam, SE::YouTube YouTube, SE::Ask Ask, SE::Comcast Comcast

  • Парсеры подсказок поисковых систем: SE::AOL::Suggest AOL, SE::Google::Suggest Google, SE::Yandex::Suggest Yandex, SE::Bing::Suggest Bing, SE::Yahoo::Suggest Yahoo

  • Парсеры и анализ ключевых слов: кейворды и частотность по SE::Yandex::WordStat Yandex.WordStat, в т.ч. по датам и регионам; частотность по SE::Yandex::Direct::Frequency Yandex.Direct; SE::Google::Trends Google Trends

  • Регистрация аккаунтов: SE::Yandex::Register Yandex

  • Парсеры параметров сайтов и доменов: позиции в поисковых системах SE::Google::position Google, SE::Yandex::position Yandex, SE::MailRu::position Mail.Ru, SE::QIP::position QIP; параметры сайтов SE::Google::pR PageRank, SE::Google::TrustCheck TrustRank, SE::Google::Compromised Compromised, SE::Google::SafeBrowsing SafeBrowsing, HTML::TextExtractor::LangDetect LangDetect, SE::Bing::LangDetect LangDetect через Bing, SE::Yandex::TIC тИЦ, Net::Whois Whois, Net::DNS DNS, Rank::CMS CMS, Rank::Ahrefs Ahrefs, Rank::Alexa Alexa, Rank::Category Category, Rank::DMOZ DMOZ, Rank::Linkpad Linkpad, Rank::MajesticSEO MajesticSEO, Rank::OpenSiteExplorer OpenSiteExplorer, Rank::SEMrush SEMrush, Rank::Mustat Mustat

  • Парсеры различных сервисов: SE::Bing::Translator Bing Translator, SE::Google::Maps Google Images, SE::Bing::Images Bing Images, SE::Google::Maps Google Maps, SE::Yandex::Direct Yandex.Direct, SE::Yandex::Catalog Yandex.Catalog, Util::AntiGate AntiGate, SEO::ping Ping

  • Парсеры контента: HTML::TextExtractor TextExtractor, HTML::LinkExtractor LinkExtractor, Check::BackLink BackLink, Net::HTTP HTTP парсер для создания произвольных парсеров



В статье мы рассмотрим добавление и проверку прокси на примере нашего сервиса и запуск задания в A-Parser с проксями.

После запуска A-Parser, переходим в Настройки, во вкладку Настройки потоков:



Выбираем количество потоков 100 - как показано на скриншоте, больше 100 не рекомендуется использовать.
Остальные поля оставляем по умолчанию.

Теперь переходим во вкладку Настройки проверки прокси (1)
Добавляем новый пресет, кликаем Добавить новый (2)
Даем свое название, у меня это “no check1”
И нажимаем на клавишу Ok (3)



Переходим в раздел, куда вы установили A-Parser, находим папку
aparser, далее заходим в папку files, далее переходим в папку proxy
И тут мы видим наш созданный пресет:



Переходим в него, разберём что он в себя включает:



sites.txt здесь находится наша ссылка на прокси,
proxy.txt здесь отображается список прокси из ссылки,
alive.txt здесь отображается список прокси, которые были живыми при работе парсера;

Теперь переходим на https://awmproxy.com/edituser.php


Тут мы видим наш IP, у вас будет свой), прописываем его в поле как показано на скриншоте, и нажимаем кнопку Сохранить.
Мы сделали привязку прокси к нашему IP адресу, это нужно чтобы наши прокси работали.

Теперь переходим в наш кабинет - https://awmproxy.com/cabinet.php



Копируем ссылку на прокси, далее переходим в наш рабочий каталог с нашим пресетом - Переходим в раздел, куда вы установили A-Parser находим папку
aparser, далее заходим в папку files далее переходим в папку proxy.
Открываем файл sites.txt


И вставляем нашу скопированную ссылку, потом нажимаем закрыть.
Теперь возвращаемся к вкладке Настройки проверки прокси

Check url: вставляем нашу ссылку на прокси
No check proxies: ставим галочку, это значит что мы выключили проверку прокси на валидность. Наш сервис продает только рабочие прокси и мы сами их проверяем, поэтому нет необходимости делать это на вашей стороне, все прокси будут рабочими. Остальные настройки оставляем по умолчанию, далее нажимаем Сохранить
Переходим во вкладку Проверка проксей

Видим следующее -

Как мы видим наши прокси загружены, и готовы к работе в количестве 8811 у вас будет своё число, в зависимости от купленного вами тарифа. Теперь перейдём к Редактору заданий (1) и запуска, на примере поисковой выдачи Google

Конфиг потоков (2) - ставим потоки 100 threads
Парсер: (3) - из списка выбираем - SE::Google
Формат результата: (4) - $pl.preset
Выберите файл: (5) - subs/english_top1000.txt (в качестве запроса мы используем топ 1000 запросов гугле)
Имя файла: (6) - $datefile.format().txt
Сохранить (7)

Переходим в Очередь заданий и видим нашу рабочую карточку.
Наше задание уже начало работу, прокси загрузились и выполняется парсинг.
Также видим подробную статистику, и прокси которые попали в бан.
Через некоторое время, после завершения парсера, рабочая карточка перемещается в Завершенные.

Мы можем скачать результат -


И, как мы видим, наши ссылки успешно спарсены, и сохранены в файл.

<<< Вернуться к статьям

Читайте также другие статьи: