A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser Support]

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит [URL="https://a-parser.com/wiki/parsers/"]более 60 парсеров[/URL]
[URL="https://a-parser.com/"]
[/URL]

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

• SEO-оптимизация сайтов и Web-аналитика
  • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
  • Оценка сайтов и доменов по множеству параметров
  • Мониторинг позиции любых сайтов в поисковых системах
  • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
  • Отслеживание обратных ссылок
  • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
  • Сбор и оценка ключевых слов
  • Сбор списка обратных ссылок
  • И многое другое
• Web-безопасность
  • Сбор и фильтрация баз ссылок по признакам
  • Определение CMS сайтов
  • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
• Сетевое администрирование
  • Работа с DNS службой - резолвинг доменов в IP адреса
  • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

A-Parser обладает следующими преимуществами:

• Колоссальная производительность
  • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
  • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
  • Множественные оптимизации сложных операций
  • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
• Промышленные масштабы
  • Парсер разрабатывался с учетом работы с неограниченным размером данных
  • Способен обрабатывать сотни миллионов и миллиардов запросов
  • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
• Автономность
  • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
  • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
  • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
• Поддержка более 60 [URL='https://a-parser.com/wiki/parsers/']парсеров[/URL]
  • Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, QIP, Yahoo, YouTube
  • Парсеры подсказок поисковых систем: Google, Yandex, Bing, Yahoo
  • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
  • Регистрация аккаунтов: Yandex
  • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush
  • Парсеры различных сервисов: Bing Translator, Google Images, Bing Images, Google Maps, Yandex.Direct, AntiGate
  • Парсеры контента: TextExtractor, LinkExtractor, BackLink, HTTP парсер для создания произвольных парсеров
• Создание собственных парсеров
  • Использование регулярных выражений
  • Поддержка многостраничного парсинга
  • Проверка контента и наличия следующей страницы
• Мощные инструменты для формирования запросов и результатов
  • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
  • Подстановки для запросов: из файла; перебор слов, символов и цифр
  • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
  • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
  • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
• Гибкость настроек
  • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
  • Настроить можно все - никаких рамок и ограничений
  • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
• Сетевые возможности
  • Поддержка HTTP/1.1 и HTTPS
  • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
  • Полностью асинхронная работа с сетью, в т.ч. с DNS
• API
  • Возможность интегрировать и управлять парсером из своих программ и скриптов
  • Полная автоматизация бизнес-процессов
  • Клиенты для PHP, Perl и Python
• Постоянные улучшения и исправления
  • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
  • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
  • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
• [URL='https://a-parser.com/pages/support/']Техническая поддержка[/URL]
  • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
  • Создана подробная документация по A-Parser'у, открыт форум для пользователей
  • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
  • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Более подробно ознакомится с возможностями парсера можно в полноценной [URL="http://a-parser.com/wiki/index/"]документации[/URL]

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

[URL="https://a-parser.com/pages/buy/"][/URL]

Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте [url]https://a-parser.com[/url] и перейти на [URL="https://a-parser.com/pages/buy/"]страницу оплаты[/URL].
Если у вас возникли вопросы - обращайтесь по любым контактам в [URL="https://a-parser.com/pages/support/"]техническую поддержку[/URL]

[A-Parser Support]

В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:

[A-Parser Support]

[URL="https://a-parser.com/threads/3016/"]1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах[/URL]



В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также [URL='https://a-parser.com/threads/2882/']добавлены новые примеры[/URL]: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)

Улучшения

• В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
• В парсере SE::Yahoo теперь определяется бан прокси по IP
• Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

Исправления в связи с изменениями в выдаче

• SE::Yandex - парсил только первую страницу выдачи
• SE::Google::Trends - использовал все попытки если по ключевому слову не было данных

Исправления

• Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
• В парсере HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

Исправления в JavaScript парсерах

• Настройки checkbox воспринимались некорректно
• Исправлена ошибка в работе this.cookies.setAll
• В интерфейсе не отображались измененные параметры конфига
• Исправлены утечки памяти
• Исправлено игнорирование параметра success
• Исправлено поведение при использовании Override настроек
• Исправлена ошибка при получении результатов из другого парсера

[A-Parser Support]

[URL="https://a-parser.com/threads/3072/"]1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing[/URL]



Улучшения

• В парсер SE::Bing добавлена возможность выбора языка результатов поиска
• Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - [URL="https://a-parser.com/threads/3033/"]использование переменного DNS сервера[/URL])
• В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
• В парсере SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи

Исправления в связи с изменениями в выдачи

• SE::Google - исправлена работа с антигейтом
• В парсере SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях
• В парсере SE::Yandex исправлен сбор сниппетов
• SE::AOL, SE::Bing::Images

Исправления

• Исправлена утечка памяти при использовании логов в задании
• В парсере SE::Ask не определялся бан прокси
• Исправлена работа опции allow_outside_files
• Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
• В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным

[A-Parser Support]

[URL="https://a-parser.com/threads/3162/"]1.1.790 - экспорт множества заданий и JavaScript парсеров[/URL]




A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:





Улучшения

• Новый экспорт заданий
  
• В JavaScript парсерах добавлена возможность указать иконку парсера
  
• В JavaScript парсерах добавлен функционал для работы с CAPTCHA
  
• Добавлено автоматическое версионирование JavaScript парсеров
  
• В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
  
• В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
  
• В JavaScript парсерах добавлен функционал управления прокси
  
• В парсере Check::BackLink улучшена обработка nofollow
  

Исправления в связи с изменениями в выдачи

• SE::DuckDuckGo, SE::Ask, SE::AOL, Rank::MajesticSEO
  
• SE::Bing не парсил при указании региона
  
• Парсер SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи
  

Исправления

• В парсере SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
  
• A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
  
• В парсере SE::Bing в серп могли попадать рекламные блоки
  
• В парсере Net::Whois собиралась дата для некоторых доменов
  
• В JavaScript парсерах исправлен вывод ошибок в коде
  
• В JavaScript парсерах исправлен подсчет HTTP запросов для статистики
  

[bertdas]

ПАРСИТ неплохо по всем характеристикам- но отлично дает прирост ТИЦ размещение ссылок своих сайтов на [URL="https://5bucks.ru/jobs/seo/professionalnaya-usluga-po-razmeshheniyu-50-zhirnyh-vechnyh-ssylok-dlya-vashego-sajta/"]ВЫСОКО ТРАСТОВЫХ САЙТАХ ДОНОРАХ-ЗДЕСЬ.[/URL]

[A-Parser Support]

[URL="https://a-parser.com/threads/3211/"]1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах[/URL]



В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем [URL='https://a-parser.com/forum/issues/']форуме[/URL] и мы их обязательно реализуем.

Помимо встроенных парсеров вы можете [URL='https://a-parser.com/threads/2882/']создавать[/URL] свои собственные [URL='https://a-parser.com/wiki/js-parsers/']парсеры на языке JavaScript[/URL] - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

Улучшения

• Новый парсер Shop::Amazon - парсит выдачу [URL]https://www.amazon.com[/URL] по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
• Новый парсер Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
• Новый парсер SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
• Новый парсер SE::IxQuick - [URL]https://www.ixquick.com[/URL] - еще один поисковик, основанный на выдаче Google
• Добавление ссылок в индекс Бинга - SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
• Новый парсер Rank::OpenSiteExplorer::Extended - расширенная версия парсера Rank::OpenSiteExplorer, собирает с [URL]https://moz.com[/URL] 39 параметров по домену, сабдомену и странице
• JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
• В парсере SE::Yandex добавлен сбор времени последнего кэширования страницы

Исправления в связи с изменениями в выдаче

• SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
• SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
  
• В парсере Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
• SE::Google::Trends - полностью обновлен парсер и список собираемых значений
• Rank::LinkPad, Rank::MajesticSEO, SE::Seznam

Исправления

• Проблема с прокруткой в Планировщике
• Проблема с кодировкой в tools.parseJSON
• Ошибка импорта JavaScript парсеров

[A-Parser Support]

[URL="https://a-parser.com/threads/3336/"]1.1.853 - новые парсеры и каталог пресетов[/URL]



У нас появился [URL='https://a-parser.com/resources/']каталог парсеров и пресетов[/URL], на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно

Улучшения

• Новый парсер HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
• Новый парсер Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
• Добавлена возможность устанавливать приоритет заданиям, [URL='https://a-parser.com/threads/2887/']подробное обсуждение[/URL]
• Оптимизирована работа при большом числе активных заданий
• Оптимизирована версия A-Parser для ОС Linux x64
• Для парсера SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
• В парсере SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"

Исправления в связи с изменениями в выдаче

• SE::DuckDuckGo, SE::IxQuick, SE::Bing::AddURL

Исправления

• В парсере SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
• В парсере Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
• Исправлен парсинг выдачи в SE::Bing если выбран язык отличный от английского
• Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры

[A-Parser Support]

[URL="https://a-parser.com/threads/3387/"]1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту[/URL]

В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи



Улучшения

• Новый парсер SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
• Новый парсер SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
• В парсере Rank::SimilarWeb добавлена поддержка антикаптчи
• В парсере Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
• JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
• В инструменты tools добавлена возможность кодировать и декодировать base64
• Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс

Исправления в связи с изменениями в выдаче

• Rank::SimilarWeb, SE::Google::Images, Rank::MajesticSEO

Исправления

• Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
• Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
• При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
• Исправлена работа tools.js на ОС Linux
• Исправлена утечка памяти при использовании JavaScript парсеров
• Исправлена работа опции Динамический лимит потоков

[A-Parser Support]

[URL=https://a-parser.com/threads/3464/]Новый каталог парсеров и пресетов[/URL]

Представляем наш новый [URL=https://a-parser.com/resources/]каталог парсеров и пресетов[/URL] - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик

[URL=https://a-parser.com/resources/] [/URL]

Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш [URL=https://a-parser.com/threads/1744/]FAQ[/URL], т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

• [URL=https://a-parser.com/resources/20/]Парсинг текстовки по ключу одним заданием[/URL]
• [URL=https://a-parser.com/resources/84/]Парсер Google Translate[/URL]
• [URL=https://a-parser.com/resources/45/]Парсер ключевых слов и бидов из 7search[/URL]

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!