Вход для пользователей
Логин
Пароль
Забыли пароль? Регистрация


Все новости

Новости

22.01.2021

Промо-акция для trustpilot.com и blackhatworld.com

Мы запускаем промо-акцию для участников форумов blackhatworld.com и trustpilot.com тариф на сутки бесплатно!


06.05.2020

Промо-акция закончена

Мы с сожалением сообщаем, что промо-акция за отзыв закончена.


13.04.2020

Отдельный тариф для работы с Instagram

С сегодняшнего дня для работы с Instagram вам нужно будет покупать тариф "Google&Instagram"
Старые тарифы будут работать с инстаграммом до конца оплаченного периода




Полный список

Бесплатные прокси

128.0.179.234:41258
 Czechia
46.4.96.137:3128
 Germany
109.233.125.171:10098
 Italy
114.116.246.230:1080
 Japan
188.0.138.11:8080
 Kazakhstan
104.27.154.50:80
 Latvia
104.244.75.218:8080
 Luxembourg
103.125.216.166:3128
 Netherlands
104.16.102.28:80
 Russia
176.119.134.115:23500
 Spain
157.230.103.189:46105
 Switzerland



A-Parser - многопоточный парсер для профессионалов

25.04.2018

A-Parser - многопоточный парсер поисковых систем, сайтов, ключевых слов, контента. Включающий в себя различные парсеры, такие как:



  • Парсеры поисковых систем: SE::Google Google, SE::Yandex Yandex, SE::AOL AOL, SE::Bing Bing, SE::Baidu Baidu, SE::DuckDuckGo DuckDuckGo, SE::MailRu Mail.Ru, SE::QIP QIP, SE::Yahoo Yahoo, SE::Seznam Seznam, SE::YouTube YouTube, SE::Ask Ask, SE::Comcast Comcast

  • Парсеры подсказок поисковых систем: SE::AOL::Suggest AOL, SE::Google::Suggest Google, SE::Yandex::Suggest Yandex, SE::Bing::Suggest Bing, SE::Yahoo::Suggest Yahoo

  • Парсеры и анализ ключевых слов: кейворды и частотность по SE::Yandex::WordStat Yandex.WordStat, в т.ч. по датам и регионам; частотность по SE::Yandex::Direct::Frequency Yandex.Direct; SE::Google::Trends Google Trends

  • Регистрация аккаунтов: SE::Yandex::Register Yandex

  • Парсеры параметров сайтов и доменов: позиции в поисковых системах SE::Google::position Google, SE::Yandex::position Yandex, SE::MailRu::position Mail.Ru, SE::QIP::position QIP; параметры сайтов SE::Google::pR PageRank, SE::Google::TrustCheck TrustRank, SE::Google::Compromised Compromised, SE::Google::SafeBrowsing SafeBrowsing, HTML::TextExtractor::LangDetect LangDetect, SE::Bing::LangDetect LangDetect через Bing, SE::Yandex::TIC тИЦ, Net::Whois Whois, Net::DNS DNS, Rank::CMS CMS, Rank::Ahrefs Ahrefs, Rank::Alexa Alexa, Rank::Category Category, Rank::DMOZ DMOZ, Rank::Linkpad Linkpad, Rank::MajesticSEO MajesticSEO, Rank::OpenSiteExplorer OpenSiteExplorer, Rank::SEMrush SEMrush, Rank::Mustat Mustat

  • Парсеры различных сервисов: SE::Bing::Translator Bing Translator, SE::Google::Maps Google Images, SE::Bing::Images Bing Images, SE::Google::Maps Google Maps, SE::Yandex::Direct Yandex.Direct, SE::Yandex::Catalog Yandex.Catalog, Util::AntiGate AntiGate, SEO::ping Ping

  • Парсеры контента: HTML::TextExtractor TextExtractor, HTML::LinkExtractor LinkExtractor, Check::BackLink BackLink, Net::HTTP HTTP парсер для создания произвольных парсеров



В статье мы рассмотрим добавление и проверку прокси на примере нашего сервиса и запуск задания в A-Parser с проксями.

После запуска A-Parser, переходим в Настройки, во вкладку Настройки потоков:



Выбираем количество потоков 100 - как показано на скриншоте, больше 100 не рекомендуется использовать.
Остальные поля оставляем по умолчанию.

Теперь переходим во вкладку Настройки проверки прокси (1)
Добавляем новый пресет, кликаем Добавить новый (2)
Даем свое название, у меня это “no check1”
И нажимаем на клавишу Ok (3)



Переходим в раздел, куда вы установили A-Parser, находим папку
aparser, далее заходим в папку files, далее переходим в папку proxy
И тут мы видим наш созданный пресет:



Переходим в него, разберём что он в себя включает:



sites.txt здесь находится наша ссылка на прокси,
proxy.txt здесь отображается список прокси из ссылки,
alive.txt здесь отображается список прокси, которые были живыми при работе парсера;

Теперь переходим на https://awmproxy.com/edituser.php


Тут мы видим наш IP, у вас будет свой), прописываем его в поле как показано на скриншоте, и нажимаем кнопку Сохранить.
Мы сделали привязку прокси к нашему IP адресу, это нужно чтобы наши прокси работали.

Теперь переходим в наш кабинет - https://awmproxy.com/cabinet.php



Копируем ссылку на прокси, далее переходим в наш рабочий каталог с нашим пресетом - Переходим в раздел, куда вы установили A-Parser находим папку
aparser, далее заходим в папку files далее переходим в папку proxy.
Открываем файл sites.txt


И вставляем нашу скопированную ссылку, потом нажимаем закрыть.
Теперь возвращаемся к вкладке Настройки проверки прокси

Check url: вставляем нашу ссылку на прокси
No check proxies: ставим галочку, это значит что мы выключили проверку прокси на валидность. Наш сервис продает только рабочие прокси и мы сами их проверяем, поэтому нет необходимости делать это на вашей стороне, все прокси будут рабочими. Остальные настройки оставляем по умолчанию, далее нажимаем Сохранить
Переходим во вкладку Проверка проксей

Видим следующее -

Как мы видим наши прокси загружены, и готовы к работе в количестве 8811 у вас будет своё число, в зависимости от купленного вами тарифа. Теперь перейдём к Редактору заданий (1) и запуска, на примере поисковой выдачи Google

Конфиг потоков (2) - ставим потоки 100 threads
Парсер: (3) - из списка выбираем - SE::Google
Формат результата: (4) - $pl.preset
Выберите файл: (5) - subs/english_top1000.txt (в качестве запроса мы используем топ 1000 запросов гугле)
Имя файла: (6) - $datefile.format().txt
Сохранить (7)

Переходим в Очередь заданий и видим нашу рабочую карточку.
Наше задание уже начало работу, прокси загрузились и выполняется парсинг.
Также видим подробную статистику, и прокси которые попали в бан.
Через некоторое время, после завершения парсера, рабочая карточка перемещается в Завершенные.

Мы можем скачать результат -


И, как мы видим, наши ссылки успешно спарсены, и сохранены в файл.

<<< Вернуться к статьям

Читайте также другие статьи: