Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.

Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете. (http://forum-seo.net/index.php)
-   Поисковые системы (http://forum-seo.net/forumdisplay.php?f=10)
-   -   A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc (http://forum-seo.net/showthread.php?t=17549)

A-Parser Support 18.01.2017 14:22

A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
 
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит [URL="https://a-parser.com/wiki/parsers/"]более 60 парсеров[/URL]
[URL="https://a-parser.com/"]
https://a-parser.com/img/tour.gif[/URL]

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • И многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

A-Parser обладает следующими преимуществами:
  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 60 [URL='https://a-parser.com/wiki/parsers/']парсеров[/URL]
  • Создание собственных парсеров
    • Использование регулярных выражений
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1 и HTTPS
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, в т.ч. с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl и Python
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • [URL='https://a-parser.com/pages/support/']Техническая поддержка[/URL]
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Более подробно ознакомится с возможностями парсера можно в полноценной [URL="http://a-parser.com/wiki/index/"]документации[/URL]

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

[URL="https://a-parser.com/pages/buy/"]https://a-parser.com/img/scr/DW3hO.png[/URL]

Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте [url]https://a-parser.com[/url] и перейти на [URL="https://a-parser.com/pages/buy/"]страницу оплаты[/URL].
Если у вас возникли вопросы - обращайтесь по любым контактам в [URL="https://a-parser.com/pages/support/"]техническую поддержку[/URL]

A-Parser Support 01.02.2017 13:55

В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:




В уроке рассмотрены:
  • Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
  • Использование регулярных выражений для фильтрации данных результата
  • Использование конструктора результатов для модификации результатов
  • Использование Cookies в запросах

[URL="https://www.youtube.com/c/AParser_channel"]Подписывайтесь на наш канал[/URL], ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!

A-Parser Support 08.02.2017 11:51

1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах
 
[URL="https://a-parser.com/threads/3016/"]1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах[/URL]

https://files.a-parser.com/img/6TCRx.png

В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также [URL='https://a-parser.com/threads/2882/']добавлены новые примеры[/URL]: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)

Улучшения
  • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  • В парсере https://a-parser.com/img/parsers/se-yahoo.pngSE::Yahoo теперь определяется бан прокси по IP
  • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога
Исправления в связи с изменениями в выдачеИсправления
  • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  • В парсере https://a-parser.com/img/parsers/html-linkextractor.png HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)
Исправления в JavaScript парсерах
  • Настройки checkbox воспринимались некорректно
  • Исправлена ошибка в работе this.cookies.setAll
  • В интерфейсе не отображались измененные параметры конфига
  • Исправлены утечки памяти
  • Исправлено игнорирование параметра success
  • Исправлено поведение при использовании Override настроек
  • Исправлена ошибка при получении результатов из другого парсера

A-Parser Support 27.02.2017 12:21

[URL="https://a-parser.com/threads/3072/"]1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing[/URL]

https://files.a-parser.com/img/6TCRx.png

Улучшения
  • В парсер https://a-parser.com/img/parsers/se-bing.png SE::Bing добавлена возможность выбора языка результатов поиска
  • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - [URL="https://a-parser.com/threads/3033/"]использование переменного DNS сервера[/URL])
  • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
  • В парсере https://a-parser.com/img/parsers/se-yandex-wordstat.png SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи

Исправления в связи с изменениями в выдачи
Исправления
  • Исправлена утечка памяти при использовании логов в задании
  • В парсере https://a-parser.com/img/parsers/se-ask.png SE::Ask не определялся бан прокси
  • Исправлена работа опции allow_outside_files
  • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
  • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным

A-Parser Support 27.03.2017 11:24

1.1.790 - экспорт множества заданий и JavaScript парсеров
 
[URL="https://a-parser.com/threads/3162/"]1.1.790 - экспорт множества заданий и JavaScript парсеров[/URL]

https://a-parser.com/img/scr/mvl55.png


A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:


https://a-parser.com/img/scr/5kn8d.png


Улучшения
  • Новый экспорт заданий
  • В JavaScript парсерах добавлена возможность указать иконку парсера
  • В JavaScript парсерах добавлен функционал для работы с CAPTCHA
  • Добавлено автоматическое версионирование JavaScript парсеров
  • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
  • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
  • В JavaScript парсерах добавлен функционал управления прокси
  • В парсере https://a-parser.com/img/parsers/check-backlink.png Check::BackLink улучшена обработка nofollow

Исправления в связи с изменениями в выдачи

Исправления
  • В парсере https://a-parser.com/img/parsers/se-qip.png SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
  • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
  • В парсере https://a-parser.com/img/parsers/se-bing.png SE::Bing в серп могли попадать рекламные блоки
  • В парсере https://a-parser.com/img/parsers/net-whois.png Net::Whois собиралась дата для некоторых доменов
  • В JavaScript парсерах исправлен вывод ошибок в коде
  • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики

bertdas 28.03.2017 09:45

ПАРСИТ неплохо по всем характеристикам- но отлично дает прирост ТИЦ размещение ссылок своих сайтов на [URL="https://5bucks.ru/jobs/seo/professionalnaya-usluga-po-razmeshheniyu-50-zhirnyh-vechnyh-ssylok-dlya-vashego-sajta/"]ВЫСОКО ТРАСТОВЫХ САЙТАХ ДОНОРАХ-ЗДЕСЬ.[/URL]

A-Parser Support 06.04.2017 13:12

1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах
 
[URL="https://a-parser.com/threads/3211/"]1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах[/URL]

https://a-parser.com/img/scr/4m5m5.png

В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем [URL='https://a-parser.com/forum/issues/']форуме[/URL] и мы их обязательно реализуем.

Помимо встроенных парсеров вы можете [URL='https://a-parser.com/threads/2882/']создавать[/URL] свои собственные [URL='https://a-parser.com/wiki/js-parsers/']парсеры на языке JavaScript[/URL] - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

Улучшения
  • Новый парсер https://a-parser.com/img/parsers/shop-amazon.png Shop::Amazon - парсит выдачу [URL]https://www.amazon.com[/URL] по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
  • Новый парсер https://a-parser.com/img/parsers/shop-yandex-market.png Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
  • Новый парсер https://a-parser.com/img/parsers/se-rambler.png SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
  • Новый парсер https://a-parser.com/img/parsers/se-ixquick.png SE::IxQuick - [URL]https://www.ixquick.com[/URL] - еще один поисковик, основанный на выдаче Google
  • Добавление ссылок в индекс Бинга - https://a-parser.com/img/parsers/se-bing-addurl.png SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
  • Новый парсер https://a-parser.com/img/parsers/ran...r-extended.png Rank::OpenSiteExplorer::Extended - расширенная версия парсера https://a-parser.com/img/parsers/ran...teexplorer.png Rank::OpenSiteExplorer, собирает с [URL]https://moz.com[/URL] 39 параметров по домену, сабдомену и странице
  • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
  • В парсере https://a-parser.com/img/parsers/se-yandex.png SE::Yandex добавлен сбор времени последнего кэширования страницы

Исправления в связи с изменениями в выдаче
Исправления
  • Проблема с прокруткой в Планировщике
  • Проблема с кодировкой в tools.parseJSON
  • Ошибка импорта JavaScript парсеров

A-Parser Support 01.05.2017 12:40

[URL="https://a-parser.com/threads/3336/"]1.1.853 - новые парсеры и каталог пресетов[/URL]

https://a-parser.com/img/scr/zldhe.png

У нас появился [URL='https://a-parser.com/resources/']каталог парсеров и пресетов[/URL], на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно :)

Улучшения
  • Новый парсер https://a-parser.com/img/parsers/htm...lextractor.png HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
  • Новый парсер https://a-parser.com/img/parsers/rank-social-signal.png Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
  • Добавлена возможность устанавливать приоритет заданиям, [URL='https://a-parser.com/threads/2887/']подробное обсуждение[/URL]
  • Оптимизирована работа при большом числе активных заданий
  • Оптимизирована версия A-Parser для ОС Linux x64
  • Для парсера https://a-parser.com/img/parsers/se-qip.png SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
  • В парсере https://a-parser.com/img/parsers/se-google-trends.png SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"
Исправления в связи с изменениями в выдачеИсправления
  • В парсере https://a-parser.com/img/parsers/se-google.png SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
  • В парсере https://a-parser.com/img/parsers/rank-similarweb.png Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
  • Исправлен парсинг выдачи в https://a-parser.com/img/parsers/se-bing.png SE::Bing если выбран язык отличный от английского
  • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры

A-Parser Support 15.05.2017 14:08

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту
 
[URL="https://a-parser.com/threads/3387/"]1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту[/URL]

В версии A-Parser 1.1.873 добавлен новый парсер https://a-parser.com/img/parsers/se-google-fast.pngSE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи

https://a-parser.com/img/scr/r5ege.png

Улучшения
  • Новый парсер https://a-parser.com/img/parsers/se-google-fast.pngSE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  • Новый парсер https://a-parser.com/img/parsers/se-google-byimage.pngSE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  • В парсере https://a-parser.com/img/parsers/rank-similarweb.pngRank::SimilarWeb добавлена поддержка антикаптчи
  • В парсере https://a-parser.com/img/parsers/rank-linkpad.pngRank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  • В инструменты tools добавлена возможность кодировать и декодировать base64
  • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
Исправления в связи с изменениями в выдачеИсправления
  • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  • Исправлена работа tools.js на ОС Linux
  • Исправлена утечка памяти при использовании JavaScript парсеров
  • Исправлена работа опции Динамический лимит потоков

A-Parser Support 06.06.2017 15:15

[URL=https://a-parser.com/threads/3464/]Новый каталог парсеров и пресетов[/URL]

Представляем наш новый [URL=https://a-parser.com/resources/]каталог парсеров и пресетов[/URL] - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик

[URL=https://a-parser.com/resources/]https://files.a-parser.com/img/7MKvw.png [/URL]

Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш [URL=https://a-parser.com/threads/1744/]FAQ[/URL], т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:
  • [URL=https://a-parser.com/resources/20/]Парсинг текстовки по ключу одним заданием[/URL]
  • [URL=https://a-parser.com/resources/84/]Парсер Google Translate[/URL]
  • [URL=https://a-parser.com/resources/45/]Парсер ключевых слов и бидов из 7search[/URL]
Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность :) Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!


Часовой пояс GMT +3, время: 11:59.

Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd. Перевод: zCarot