[Десктопный софт] A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API(https://a-parser.com/threads/5483/)
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

Сбор ссылок с GET параметрами
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.
gagz5_190722113529.png


Поиск и скачивание Google документов
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.
j8v5t_190720165716.png


Работаем с API, часть 3
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

button_a-parser_small.png

https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Сборник рецептов #34: оценка трафика, парсинг Ahrefs и информация об IP адресах

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

Чек трафика сайта
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.
9syo2_190731155238.png


Парсер Ahrefs на основе Ahrefs API
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.
g5ykb_190725184610.png


Парсинг подсети и организации по IP
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.
3lgog_190731154735.png


Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

button_a-parser_small_500.png

https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
1.2.570 - новые парсеры API::Server::Redis и SE::Startpage, улучшения в существующих парсерах(https://a-parser.com/threads/5523/)
1.2.570.png

Улучшения
  • Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
  • В
    se-google.png
    SE::Google::Modern добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
  • В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
  • Улучшена логика работы функции Get full links в SE::Baidu
  • В SE::Google::Modern реализована возможность указывать дополнительные заголовки для запросов
  • Улучшен парсинг меток сайтов в
    se-yandex.png
    SE::Yandex, а также добавлена поддержка новых типов меток
  • Улучшена логика работы функции Get full links в SE::Baidu
  • Оптимизирован алгоритм обработки подзапросов
Исправления в связи с изменениями в выдаче
  • Улучшена работа
    se-youtube.png
    SE::YouTube, в связи с тестированием новой верстки
  • В
    se-google-translate.png
    SE::Google::Translate переработан механизм повторных попыток, добавлена поддержка сессий
  • Исправлен парсинг сниппетов в
    se-google-images.png
    SE::Google::Images
  • Поностью переработан
    googleplay-apps.png
    GooglePlay::Apps- теперь он парсит только первую страницу результатов
  • Исправлен парсинг мобильной выдачи в SE::Google::Modern
  • Исправлена работа
    se-seznam.png
    SE::Seznam при отсутствии результатов
  • Исправлена работа
    rank-linkpad.png
    Rank::Linkpad, парсер полностью переписан
  • se-bing-translator.png
    SE::Bing::Translator,
    se-duckduckgo-images.png
    SE:: DuckDuckGo::Images,
    se-bing-images.png
    SE::Bing::Images
Исправления
  • Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
  • Исправлено падение скорости в
    net-whois.png
    Net::Whois
  • Исправлен баг в оптимизации парсеров
  • Исправлено сохранение параметра Report period в
    se-yandex-direct-frequency.png
    SE::Yandex:: Direct::Frequency
  • В
    html-linkextractor.png
    HTML::LinkExtractor исправлен сбор ссылок, если в них есть перенос строки
button_a-parser_small_550.png
https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Видео урок: Поиск страниц контактов
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.

В уроке рассмотрено:
  • парсинг поиска Google для получения ссылки на страницу контактов
  • парсинг главной страницы сайта для получения title
  • использование инструмента $tools.CSVline для форматирования файла результата
  • пример правильного импорта в Excel
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 
Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo(https://a-parser.com/threads/5572/])
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
[BПарсинг комментариев из Youtube[/B]
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.
mctw5_190909115641.png


Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.
80rx0_190909130311.png


SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.
dxwci_190909122454.png


https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Что такое парсер

На сегодняшний день парсеры, это огромные SEO- комбайны, способные помочь SEO специалистам и вебмастерам любого уровня подготовки.
Можно также обратится к специалисту и вам напишут парсер под ваши запросы. Здорово то, что не нужно искать фрилансеров на просторах интернета. Алгоритм работы у таких программ практически одинаков.
В интернете часто встречаются выражения, из которых следует, будто парсер (поисковый робот, бот) путешествует по интернету. Но в принципе эта программа никогда не покидает компьютера, на котором она инсталлирована. То есть парсер в корне отличается от вируса, хотя в чем то, он напоминает троянскую программу. Ведь с помощью парсера можно получить информацию, совершенно не спрашивая о ней у ее владельца.
 
1.2.595 - новый парсер Ahrefs, инструмент для создания CSV и много других улучшений

1.2.595.png


Улучшения
  • Добавлен новый парсер
    rank-ahrefs.png
    Rank::Ahrefs
  • Добавлен инструмент $tools.CSVline для простого создания CSV файлов
  • В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в
    se-google.png
    SE::Google::Modern
  • В
    se-google.png
    SE::Google::Modern в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
  • В
    se-yandex.png
    SE::Yandex в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
  • В
    net-http.png
    Net::HTTP улучшена работа с редиректами, добавлена опция Follow common redirects
  • Теперь в
    util-recaptcha2.png
    Util::ReCaptcha2 можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
  • Увеличено количество результатов в парсерах
    rank-bukvarix-keyword.png
    Rank::Bukvarix::*
  • Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
  • JS парсеры: улучшена пакетная обработка запросов
Исправления в связи с изменениями в выдаче
  • В
    maps-yandex.png
    Maps::Yandex исправлена ситуация, при которой для части результатов не собирались данные
  • Исправлен
    se-rambler.png
    SE::Rambler
Исправления
  • Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
  • Исправлена ошибка в
    rank-alexa.png
    Rank::Alexa, из-за которой при отсутствующих значениях запрос завершался с ошибкой
  • Исправлен баг в
    rank-majesticseo.png
    Rank::MajesticSEO, из-за которого в некоторых случаях запросы завершались с ошибкой
  • Для парсеров
    social-instagram-profile.png
    Social::Instagram::Profile и
    social-instagram-tag.png
    Social::Instagram::Tag изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях

https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Видео урок: Парсинг Google Maps для сбора всех организаций в определенной местности

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.



В уроке рассмотрено:
  • Парсинг карт Google с использованием Maps::Google
  • Пример получения координат для использования в макросах подстановок
  • Работа с макросами подстановок при наличии отрицательных чисел
  • Импорт результата в Excel

Полезные ссылки:
  • Готовый пресет в Каталоге
  • Описание парсера Maps::Google
  • Документация по макросам подстановок
Оставляйте комментарии и подписывайтесь на наш канал на YouTube: https://www.youtube.com/c/AParser_channel
 
Спасибо, много нового узнал. Только вот как проверить качество запросов которые он вытащит.
 
Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

Создание пресета для анализа страниц сайта
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.
jawyq_191029121649.png


Парсинг разными способами максимум результатов из индекса поисковых систем
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.
7gyeh_191029192345.png


Проверка существования запросов
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.
2672s_191030120713.png



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - пишите здесь (https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
  • Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
  • Сборник статей #2: цикл статей-уроков по созданию JS парсеров
  • Сборник статей #3: пагинация, переменные и БД SQLite
  • Сборник статей #4: добавление товаров в OpenCart и парсинг JSON
  • Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
  • Сборник статей #6: работа с API, сохранение в YML и мануал по подключению Node.js модулей
  • Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
  • Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API

button_a-parser_small_750.png

Присоединяйтесь к нашему Telegram каналу, нас уже 750+ - https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
1.2.678 - оптимизация работы с прокси, улучшения во встроенных парсерах, исправления ошибок

1.2.678..png


Улучшения
  • В
    se-google-byimage.png
    SE::Google::ByImage добавлена поддержка рекаптч, а также улучшена работа в целом
  • В
    se-yandex.png
    SE::Yandex добавлена возможность одновременной работы авторазгадывания каптч и антигейта
  • В
    rank-ahrefs.png
    Rank::Ahrefs добавлена возможность выбора типа домена
  • Полностью переписан
    se-yandex-sqi.png
    SE::Yandex::SQI, изменен набор собираемых данных
  • Реализован бан прокси в
    se-duckduckgo-images.png
    SE::DuckDuckGo::Images
  • В
    net-whois.png
    Net::Whois добавлен парсинг даты освобождения домена
  • Оптимизирована работа с прокси при использовании большого числа попыток
  • Улучшена работа функции Bypass Cloudflare
  • Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser
Исправления в связи с изменениями в выдаче
  • В мобильной верстке
    se-google-modern.png
    SE::Google::Modern исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
  • В
    se-yandex.png
    SE::Yandex исправлено определение каптчи, а также исправлен сбор ссылок на кеш
  • Исправлен парсинг цен и количества комментариев в
    shop-amazon.png
    Shop::Amazon
  • Исправлена работа SE::DuckDuckGo::Images с запросами, содержащими более 1 слова
  • googleplay-apps.png
    GooglePlay::Apps,
    se-youtube.png
    SE::Youtube,
    rank-ahrefs.png
    Rank::Ahrefs
Исправления
  • Исправлена проблема с рандомизацией прокси на Windows 10
  • Исправлено зависание при использовании Check::BackLink
  • Исправлена проблема, при которой не применялся Content-Type в Net::HTTP
  • Исправлена редкая проблема с выбором файла запросов
  • Исправлена обработка редиректов при нестандартном порте
  • Исправлен вывод многострочных данных в tools.CSVline
  • JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
  • JS парсеры: исправлена проблема с подключением модуля jimp

button_a-parser_small_800.png

telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Видео урок: Парсинг сайта в глубину на основе парсера HTML::LinkExtractor


В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.



В уроке рассмотрено:
  • Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
  • Получение title (с очисткой от HTML сущностей)
  • Получение таких параметров как:
    • кол-во предыдущих редиректов
    • код ответа сервера
    • кол-во внешних ссылок
Полезные ссылки:
  • https://a-parser.com/resources/357/ - готовый пресет в Каталоге
  • https://a-parser.com/resources/356/ - подробное описание по созданию настроек для парсинга в глубину сайта
  • https://a-parser.com/wiki/advanced-options/#parse-all-results- документация по функции "Парсить до уровня"

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
https://www.youtube.com/c/AParser_channel

button_a-parser_small_800.png

telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:



А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.
7w2s9_191128181818.png


Парсер Github
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.
7k62o_191128123550.png


Парсинг количества трафика на сайтах
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.
npth3_191202155600.png


Кроме этого были обновлены:
  • https://a-parser.com/resources/47 Парсинг базы телефонов из olx.ua
  • https://a-parser.com/resources/21 Парсинг Авито
  • https://a-parser.com/resources/334 Парсинг телефонов и email фрилансеров fl.ru
  • https://a-parser.com/resources/286 Проверка блокировки РосКомНадзора через GitHub
  • https://a-parser.com/resources/144 JS::MailValidator

Еще больше различных рецептов в нашем https://a-parser.com/resources Каталоге
Предлагайте ваши идеи для новых парсеров https://a-parser.com/threads/3464 здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в https://twitter.com/a_parser Twitter.

Все сборники рецептов

button_a-parser_small_1200.png


https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты

1.2.713.png


Улучшения
  • Добавлен новый парсер
    telegram-groupscraper.png
    Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
  • Добавлен новый парсер
    shop-ebay.png
    Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
  • Изменения в парсерах Google:
    • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
    • В связи с неактуальностью удалены опции:
      • Old desktop computer (IE6) в Device
      • Util::AntiGate preset
      • Use digit captcha
  • В
    se-yandex.png
    SE::Yandex увеличено максимальное значение Pages count до 25
  • В
    se-google-images.png
    SE::Google::Images добавлена поддержка новой верстки
  • В
    util-recaptcha2.png
    Util::ReCaptcha2 добавлена поддержка capmonster.cloud
  • Парсер
    se-mailru.png
    SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
  • Парсер
    se-yandex-direct.png
    SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
  • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
  • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
Исправления в связи с изменениями в выдаче
  • Множество исправлений в
    se-google.png
    SE::Google, он теперь полностью дублирует
    se-google.png
    SE::Google::Modern
  • Исправлен парсинг $indexed в Rank::MajesticSEO
  • В Net::Whois исправлена работа с доменной зоной .sex
  • Исправлен парсинг $title в Shop::Yandex::Market
  • Shop::Amazon, SE::Dogpile, Rank::Ahrefs, SE::Bing, Rank::SEMrush, SE::DuckDuckGo, SE::DuckDuckGo::Images, SE::Baidu
Исправления
  • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
  • Исправлены проблемы с рандомизацией в некоторых случаях
  • Исправлена ошибка в Social::Instagram::post при парсинге только массивов данных
  • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
  • JS парсеры: исправлена работа с Node.js модулем socks

button_a-parser_small_1100.png

telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Парсер постов из Twitter
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
j3ox3_191221193628.png


JS::ImagesFromSE
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
jah8t_191223125310.png


Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен
telegram-groupscraper.png
Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:
  • Парсинг пользователей публичных групп в Telegram
  • Парсинг всех сообщений из публичных групп в Telegram

Еще больше различных рецептов в нашем Каталоге
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

button_a-parser_small_1100.png
 
Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
wud8v_191230180827.png


Сбор характеристик товара
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.
sstoc_200103092306.png


Всё о редиректах
Большая справочная статья, посвященная тематике редиректов.
pii2f_200103134519.png


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
  • Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
  • Сборник статей #2: цикл статей-уроков по созданию JS парсеров
  • Сборник статей #3: пагинация, переменные и БД SQLite
  • Сборник статей #4: добавление товаров в OpenCart и парсинг JSON
  • Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
  • Сборник статей #6: работа с API, сохранение в YML и мануал по подключению Node.js модулей
  • Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
  • Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API
  • Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

button_a-parser_small_1100.png
 
Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



В уроке рассмотрено:
  • Парсинг поисковой выдачи Google
  • Вывод уникальных результатов в качестве главных доменов
  • Получение таких параметров как:
    • зарегистрирован домен или нет
    • дата регистрации и дата окончания регистрации домена
    • язык сайта
    • title и description
    • индекс качества сайта
    • позицию в глобальном рейтинге Alexa
    • cтрану с наибольшим числом трафика по Alexa
    • позицию в рейтинге этой страны по Alexa
Полезные ссылки:
  • https://a-parser.com/wiki/net-whois/ - парсер Net::Whois
  • https://a-parser.com/wiki/html-textextractor-langdetect/ - парсер HTML::TextExtractor::LangDetect
  • https://a-parser.com/wiki/se-yandex-sqi/ - парсер SE::Yandex::SQI
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

button_a-parser_small_1200.png
 
1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности

1.2.752.png


Улучшения
  • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
  • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
  • Улучшена производительность
    se-yandex.png
    SE::Yandex
  • В
    shop-amazon.png
    Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
  • В
    se-google-byimage.png
    SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
  • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%
Исправления в связи с изменениями в выдаче
  • Исправлена работа с каптчами в
    maps-yandex.png
    Maps::Yandex
  • Исправлен парсинг рекламы в
    se-google.png
    SE::Google
  • se-yandex.png
    SE::Yandex,
    rank-ahrefs.png
    Rank::Ahrefs,
    se-dogpile.png
    SE::Dogpile,
    se-dogpile-images.png
    SE::Dogpile::Images,
    se-duckduckgo-images.png
    SE::DuckDuckGo::Images,
    rank-majesticseo.png
    Rank::MajesticSEO,
    rank-serpstat-keyword.png
    Rank::SerpStat::Keyword,
    rank-bukvarix-domain.png
    Rank::Bukvarix::Domain
Исправления
  • Исправлена работа Bypass Cloudflare в некоторых случаях
  • Исправлена работа при малом числе прокси
  • Исправлена проблема при редактировании дополнительных форматов результатов

button_a-parser_small_1200.png
 
Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью
Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.
bvd7vsvdbs848sj.png


Парсинг сайтов из Яндекс.Радар
Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.
6j5q6_200204160703.png


Определение типа сайта по Яндекс Радару
И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.
925f798dbf.jpg


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

button_a-parser_small_1200.png
 
Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому
В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.
bvh74g37fa.png


Инструкция по использованию Google Indexing API
В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.
3p4a3_200214180729.png


Поиск и сбор rss лент
В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.
cbyuefeteg.png


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

tg_chat_btn.png
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху