[Десктопный софт] A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

1.2.799 - новый парсер для поиска картинок, улучшения в существующих парсерах

1.2.799.png


Улучшения
  • Добавлен новый парсер
    se-yandex-byimage.png
    SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
  • В
    social-instagram-post.png
    Social::Instagram::post добавлена возможность собирать ссылки на локации
  • В
    util-yandexrecognize.png
    Util::YandexRecognize добавлена поддержка сессий
  • В
    se-yandex-sqi.png
    SE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
  • Улучшения в
    html-emailextractor.png
    HTML::EmailExtractor для более качественного сбора почт
  • В
    se-google-trends.png
    SE::Google::Trends обновлен и значительно расширен список регионов
  • Из
    se-seznam.png
    SE::Seznam удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг $totalcount, рекламы и мобильной выдачи в парсерах Google
  • Исправлен парсинг анкоров и сниппетов в
    se-yandex.png
    SE::Yandex
  • Исправлены парсеры SerpStat
  • se-yandex-direct.png
    SE::Yandex::Direct,
    se-bing-langdetect.png
    SE::Bing::LangDetect ,
    rank-ahrefs.png
    Rank::Ahrefs,
    se-bing.png
    SE::Bing,
    se-startpage.png
    SE::Startpage,
    shop-ebay.png
    Shop::eBay
Исправления
  • Исправлен выбор страны в SE::Yahoo
  • Исправлен баг с декодированием ссылок в SE::Google::Images
  • В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти

tg_chat_btn.png
 
Парсинг booking.com с помощью A-Parser

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера
net-http.png
Net::HTTP



В видео рассмотрено
  • Пользование разделом тестового парсинга
  • Переход по страницам пагинации
  • Проверка наличия определенного контента на странице сайта
  • Использование регулярных выражений
  • Применение конструктора результатов (декодирование HTML сущностей)
  • Применение шаблонизатора Template Toolkit в формате результата:
    • Использование инструмента $tools.CSVline
    • Циклическая обработка директивой FOREACH
    • Виртуальный метод .match
    • Фильтры: .remove, .collapse, .replace

Полезные ссылки
  • Net::HTTP -https://a-parser.com/wiki/net-http/
  • Тестовый парсинг - https://a-parser.com/wiki/test-parsing/
  • Template Toolkit - https://a-parser.com/wiki/template-toolkit/
  • tools.CSVline - https://a-parser.com/wiki/template-tools/#tools-csvline-%D0%BF%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B5-%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5-csv-%D1%84%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2']https://a-parser.com/wiki/template-tools/#tools-csvline-простое-создание-csv-файлов
  • Готовый пресет: https://a-parser.com/resources/383/

Оставляйте комментарии и https://www.youtube.com/c/AParser_channel подписывайтесь на наш канал на YouTube!
https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
button_a-parser_small_1400.png
 
Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
  • телеграмм бот опросник
  • парсер агрегатора цен hotline.ua
  • парсер аукционов транспортных средств copart.com

Телеграмм бот опросник
Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.
www.youtube.com/watch?v=ypgj2T1axi0[/video]

Парсер hotline.ua
hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.
3my28_200325142307.png


Парсер copart.com
Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.
ehamm_200325190721.png


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

button_a-parser_small_1400.png
 
Видео урок: Именование файлов результатов

Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.



В видео рассмотрено:
  • Нумерация файла результата в соответствии с запросами
  • Нумерация файла результата + часть имени запроса
  • Именование файла результата по запросу, если запрос линк

Полезные ссылки:
  • Формат результата - https://a-parser.com/wiki/tips-v1-1-0/#Формат-результата
  • Шаблонизатор Template Toolkit - https://a-parser.com/wiki/template-toolkit
  • Метод replace - http://template-toolkit.ru/Manual/VMethods.html

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
button_a-parser_small_1400.png
 
1.2.852 - новый парсер для Google Keyword Planner, Native NodeJS, множество исправлений и улучшений

1.2.852.png


Улучшения

● Добавлен парсер
se-google-keywordplanner.png
SE::Google::KeywordPlanner
◦ собираются списки подсказок и варианты ключевых слов
◦ для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
◦ присутствует возможность указывать несколько ключевых слов в запросе​
● В
se-yandex-byimage.png
SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
● В
se-yandex-sqi.png
SE::Yandex::SQI добавлены переменные сбор количества отзывов и оценок, а также рейтинга
● Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
● Автоматическое увеличение лимитов на ОС Linux
● Улучшена работа с регулярными выражениями
● При бане прокси в лог задания теперь выводится более детальная информация
● Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
◦ Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode​
● Native NodeJS: добавлена экспериментальная поддержка HTTP/2
● Native NodeJS: обновление Node.js до актуальной версии
● JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее тут​

Исправления в связи с изменениями в выдаче

● Исправлено скачивание каптчи в
se-yandex.png
SE::Yandex
● Исправлен
rank-ahrefs.png
Rank::Ahrefs: в $anchors переменная $bl заменена на $domains
● В
se-google.png
SE::Google исправлены:
◦ парсинг mobile news
◦ баг с дублированием ссылок в выдаче
◦ парсинг анкоров в рекламе, связанных ключевых слов, а также первый результат в выдаче не всегда попадал в serp​
● В
se-google-images.png
SE::Google::Images исправлен парсинг gif
● Исправлен
se-yandex-byimage.png
SE::Yandex::ByImage, убраны flat переменные $height и $width
●
se-yandex.png
SE::Yandex, SE::Google::ByImage, SE:: DuckDuckGo, Social::Instagram::Post, Rank::Ahrefs, Rank::Bukvarix:: Domain, SE::MailRu, SE::Yandex::Suggest​

Исправления

● Исправлена работа
net-whois.png
Net::Whois с доменами 3го уровня, а также улучшена проверка получаемого ответа
● Исправлена работа Extra query string в SE::Bing
● Исправлена работа Rank::SEMrush и Rank::SerpStat::Keyword при получении ответа без данных
● Исправлен баг с типами переменных
● Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
● Исправлена работа Bypass Cloudflare
● Исправлен динамический лимит потоков
● Исправлена ошибка при использовании Request delay
● Исправлено предупреждение о превышении лимита в Поле запросов
● Исправлена работа $tools.task.id в имени файла результата
● JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
● JS парсеры: исправлено определение кодировки страницы
● Native NodeJS: исправлено поведение при некоторых ошибках
● Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
● Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
● Native NodeJS: исправлена работа SOCKS5 с авторизацией
● Native NodeJS: исправлена подстановка данных после Конструктора запросов​


tg_chat_btn.png
 
Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
  • парсер данных о посещаемости организаций
  • парсер данных о SSL сертификатах
  • парсер товаров на ikea.com
  • комплексный пресет для анализа доменов по ряду характеристик
  • способ извлечения доменов из ссылок без фактического захода на страницу
Посещаемость в Google Maps
https://a-parser.com/resources/393/

В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.
4758fg8bfg84.png


Данные по SSL сертификату
https://a-parser.com/resources/391/

Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.
dnr3e_200427125510.png


Парсер ikea.com
https://a-parser.com/resources/388/

Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.
fwrq2_200427130816.png


Кроме этого:
  • Получение доменов из ссылок без захода на страницу (https://a-parser.com/resources/390/)
  • Информация о сайте (домене) (https://a-parser.com/resources/392/)

Еще больше различных рецептов в нашем Каталоге!
https://a-parser.com/resources/

Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

Все сборники рецептов
https://a-parser.com/search/39393729/?q=%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA+%D1%80%D0%B5%D1%86%D0%B5%D0%BF%D1%82%D0%BE%D0%B2

button_a-parser_small_1500.png

https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия - https://a-parser.com/threads/6139/

В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

A">A" type="application/x-shockwave-flash" wmode="transparent" width="425" height="350">

В видео рассмотрено:
  • Вывод результатов в разные файлы с разными именами используя переменные
  • Вывод результатов для каждого файла отдельно по определенному условию
  • Вывод результатов для двух файлов с условием, используя массив
Полезные ссылки:
  • https://a-parser.com/wiki/template-toolkit/ - Шаблонизатор Template Toolkit
  • http://template-toolkit.ru/Manual/Directives.html#Uslovnaya_obrabotka - условная обработка (IF, UNLESS, ELSIF, ELSE)
  • http://template-toolkit.ru/Manual/Directives.html#Ciklicheskaya_obrabotka - циклическая обработка FOREACH
  • https://a-parser.com/wiki/task-tester/ - тестировщик заданий
Оставляйте комментарии и подписывайтесь на наш канал на YouTube! - https://www.youtube.com/c/AParser_channel

button_a-parser_small_1500.png
- https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer (https://a-parser.com/threads/6168/)

Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
  • Работа с Google таблицами
  • Отправка писем из А-Парсера
  • Авторизация с помощью puppeteer
Сохранение результатов в Google SpreadSheets (https://a-parser.com/resources/397/)

Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.

bsdf64354bhd734vfdatf54.png


Отправка почтовых писем (https://a-parser.com/resources/395/)

Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.

swlv0_200518110130.png


Авторизация на GitHub с использованием puppeteer (https://a-parser.com/resources/396/)

Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.

dasdt56567asd56s.png



Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

Все сборники рецептов (https://a-parser.com/search/22332632/?q=%D0%A1%D0%B1%D0%BE%D1%80%D0%BD%D0%B8%D0%BA+%D1%80%D0%B5%D1%86%D0%B5%D0%BF%D1%82%D0%BE%D0%B2)

button_a-parser_small_1500.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
1.2.912 - обновление NodeJS, повышение производительности, адаптация к изменениям в рекаптчах(https://a-parser.com/threads/6231/)

1.2.912.png


Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер
rank-cms.png
Rank::CMS (https://a-parser.com/wiki/rank-cms/) был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

Улучшения
  • NodeJS обновлен до v14.2.0, v8 до 8.1
  • Добавлена поддержка параметра data-s в рекаптчах для
    se-google.png
    SE::Google (https://a-parser.com/wiki/se-google/), также добавлена опция ReCaptcha2 pass proxy
  • Увеличен лимит потоков до 10000 для OS Windows
  • Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
  • Добавлен новый парсер
    rank-keysso.png
    Rank::KeysSo (https://a-parser.com/wiki/rank-keysso/)
  • Полностью переписаны на JS
    se-yahoo-suggest.png
    SE::Yahoo::Suggest (https://a-parser.com/wiki/se-yahoo-suggest/),
    rank-alexa-api.png
    Rank::Alexa::API (https://a-parser.com/wiki/rank-alexa-api/) и
    rank-archive.png
    Rank::Archive (https://a-parser.com/wiki/rank-archive/)
  • Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
  • В
    se-google-keywordplanner.png
    SE::Google::KeywordPlanner (https://a-parser.com/wiki/se-google-keywordplanner/) добавлено автоматическое получение токена
  • В
    se-bing.png
    SE::Bing (https://a-parser.com/wiki/se-bing/) добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
  • В парсере
    util-recaptcha2.png
    Util::ReCaptcha2 (https://a-parser.com/wiki/util-recaptcha2/) при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
  • В
    se-google-trends.png
    SE::Google::Trends (https://a-parser.com/wiki/se-google-trends/) добавлена возможность указывать произвольный диапазон дат
  • В
    rank-cms.png
    Rank::CMS (https://a-parser.com/wiki/rank-cms/) добавлен выбор движка регулярок и поддержка собственного файла с признаками
  • В
    se-yandex-byimage.png
    SE::Yandex::ByImage (https://a-parser.com/wiki/se-yandex-byimage/) добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
  • [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
  • [NodeJS] Исправлена работа this.cookies.getAll()
  • [JS парсеры] Добавлена опция follow_meta_refresh для this.request
  • [JS парсеры] Добавлена опция bypass_cloudflare для this.request
  • [JS парсеры] Underscore заменен на Lodash
  • [JS парсеры] В логе добавлена пометка при вызове других парсеров
  • [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
  • [JS парсеры] Добавлен метод destroy()
Исправления в связи с изменениями в выдаче
  • Множество исправлений в
    se-google.png
    SE::Google (https://a-parser.com/wiki/se-google/)
  • Исправлен
    se-youtube.png
    SE::Youtube (https://a-parser.com/wiki/se-youtube/), в т.ч. парсинг по тегам
  • Исправлен сбор ссылок в Shop::eBay (https://a-parser.com/wiki/shop-ebay/)
  • Исправлен парсинг телефонов в Maps::Google (https://a-parser.com/wiki/maps-google/)
  • Исправлена работа с каптчами в SE::Yandex::ByImage (https://a-parser.com/wiki/se-yandex-byimage/)
  • В Rank::Social::Signal (https://a-parser.com/wiki/rank-social-signal/) удалена переменная $facebook_comment в связи с неактуальностью
  • SE::Startpage (https://a-parser.com/wiki/se-startpage/), Rank::Linkpad (https://a-parser.com/wiki/rank-linkpad/), Social::Instagram::post (https://a-parser.com/wiki/social-instagram-post/), SE::Yandex::Translate (https://a-parser.com/wiki/se-yandex-translate/)
Исправления
  • Исправлен баг, из-за которого игнорировался выбранный проксичекер
  • Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
  • Исправлена проблема с определением кодировки
  • Исправлена ошибка использования $tools.query
  • Исправлен баг в Rank::MajesticSEO (https://a-parser.com/wiki/rank-majesticseo/) при котором использовались все попытки при отсутствии результатов
  • Исправлена работа http2
  • Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
  • Исправлено разгадывание каптч в SE::Yandex::Register (https://a-parser.com/wiki/se-yandex-register/) и Check::RosKomNadzor (https://a-parser.com/wiki/check-roskomnadzor/)
  • Исправлена разница в запросах, отправляемых через Net::HTTP (https://a-parser.com/wiki/net-http/) и JS
  • Исправлен баг в SE::Yahoo (https://a-parser.com/wiki/se-yahoo/)
  • Исправлены ошибки в Rank::CMS (https://a-parser.com/wiki/rank-cms/) при выборе приложения без категории
  • [NodeJS] Исправлен подсчет времени исполнения кода парсера
  • [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
  • [JS парсеры] Исправлена работа CloudFlare bypass
  • [JS парсеры] Исправлена работа с сессиями
  • [JS парсеры] Исправлена работа с overrides для this.parser.request
  • [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах

tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Сборник рецептов #42: поиск битых ссылок, сервисы статистики и коммерциализация запросов(https://a-parser.com/threads/6261/)

Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.

Парсер Ahrefs::BrokenLink (https://a-parser.com/resources/400/)
Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.

5xjrw_200622121851.png


Парсер builtwith.com (https://a-parser.com/resources/401/)
Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.

a-parser.com_Historical_Website_Relationship_Profile_-_Google_Chrome_2020-06-22_10.37.34.png


Определение коммерциализации запроса (https://a-parser.com/resources/399/)
Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.

ZrJ0RK5UMpNLj2.png

Кроме этого:
  • Определение локации по координатам (https://a-parser.com/resources/398/)
Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Видео урок: где смотреть переменные, скрытые переменные и какой результат они выводят (примеры)(https://a-parser.com/threads/6288/)

В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.



Содержание видео:
00:20 - 1. Где смотреть какие у парсера есть переменные?
1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
1:22 - переменная root
2:08 - переменная root объект
3:14 - переменная query.orig
4:04 - переменная query.first
5:24 - переменная query.lvl
5:50 - переменная query.prev
6:20 - переменная query.num

Все возможные методы TT для работы с обьектами (http://www.template-toolkit.org/docs/manual/VMethods.html#section_Hash_Virtual_Methods)
Форматирование запросов (шаблоны) (https://a-parser.com/wiki/query-format/)

Оставляйте комментарии и подписывайтесь на наш канал на YouTube! (https://www.youtube.com/c/AParser_channel)

tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
1.2.948 - новые парсеры SecurityTrails IP и Domain, поддержка доменных прокси, множество исправлений(https://a-parser.com/threads/6312/)

fvvik_200716143725.png


Улучшения
  • Добавлен парсер
    rank-moz.png
    Rank::MOZ (https://a-parser.com/wiki/rank-moz/).
    Собираемые данные: вся информация, содержащаяся на странице.
  • Добавлены парсеры
    securitytrails-domain.png
    SecurityTrails::Domain (https://a-parser.com/wiki/securitytrails-domain/) и
    securitytrails-ip.png
    SecurityTrails::IP (https://a-parser.com/wiki/securitytrails-ip/).
    Для работы парсеров необходимо указать пресет
    util-recaptcha2.png
    Util::ReCaptcha2 (https://a-parser.com/wiki/util-recaptcha2/).
    • securitytrails-ip.png
      SecurityTrails::IP (https://a-parser.com/wiki/securitytrails-ip/)
      В качестве запроса следует указывать ipv4 адрес.
      Собирает домены по IP и информацию о них.
    • securitytrails-domain.png
      SecurityTrails::Domain (https://a-parser.com/wiki/securitytrails-domain/)
      В качестве запроса следует указывать домен, например a-parser.com.
      Собираемые данные:
      • Данные по DNS
      • Список технологий, используемых на сайте (движки и проч.)
      • Список открытых портов
      • Alexa rank
      • Страна
      • Хостер
      • Даты начала и окончания регистрации
      • Whois статус
      • Регистратор
      • Список исторических данных по DNS
      • Список субдоменов
  • Добавлена возможность отключать валидацию TLS сертификатов.
  • Добавлена поддержка доменных прокси.
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг новостей в
    se-google.png
    SE::Google (https://a-parser.com/wiki/se-google/).
  • Исправлен
    social-instagram-profile.png
    Social::Instagram::Profile (https://a-parser.com/wiki/social-instagram-profile/).
  • Исправления в
    se-yandex.png
    SE::Yandex (https://a-parser.com/wiki/se-yandex/):
    • исправлен парсинг турбо ссылок;
    • исправлен парсинг новостных сниппетов.
  • Исправления в
    se-google.png
    SE::Google (https://a-parser.com/wiki/se-google/),
    se-baidu.png
    SE::Baidu (https://a-parser.com/wiki/se-baidu/),
    se-yandex-direct.png
    SE::Yandex::Direct (https://a-parser.com/wiki/se-yandex-direct/),
    shop-yandex-market.png
    Shop::Yandex::Market (https://a-parser.com/wiki/shop-yandex-market/).
  • Исправления в
    se-yahoo.png
    SE::Yahoo (https://a-parser.com/wiki/se-yahoo/) - ошибка в выборе стран, у которых одинаковый домен, восстановлен парсинг сниппетов.
Исправления
  • Исправлена ошибка в алгоритме автовыбора домена в SE::Yandex (https://a-parser.com/wiki/se-yandex/).
  • Исправлена работа Rank::MajesticSEO (https://a-parser.com/wiki/rank-majesticseo/), SE::Bing::Translator (https://a-parser.com/wiki/se-bing-translator/).
  • Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
  • Решена проблема с переопределениями опций в парсере HTML::LinkExtractor (https://a-parser.com/wiki/html-linkextractor/).
  • NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
  • Исправлено падение парсера при вызове метода getProxies.

tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Подскажите, пожалуйста, есть ли возможность взять парсер на тест?
 
Сборник статей #12: скорость работы парсеров, debug режим и работа с куками(https://a-parser.com/threads/6371/)

В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

Скорость и принцип работы парсеров (https://a-parser.com/resources/404/)
В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.

Statya.pdf_%E2%80%94_Profil_1__Microsoft%E2%80%8B_Edge_2020-08-22_12.20.14.png


Использование Debug режима (https://a-parser.com/resources/405/)
В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.

A-Parser__Advanced_SE_Parser_%26_Analyze_tool_-_Google_Chrome_2020-08-20_11.55.06.png


Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru (https://a-parser.com/resources/406/)
А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.

Fotografii_2020-08-25_12.07.40.png


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки
clear.png
) - отписывайтесь здесь (https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube (http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string(https://a-parser.com/threads/6402/)

В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера



  • Где и как можно посмотреть результаты парсинга?
  • Как подключить прокси с авторизацией?
  • Extra query string, что это такое и как применять эту опцию?
В уроке рассмотрено:
  • Просмотр результатов парсинга 3-мя способами:
    • Способ первый. "Из очереди заданий, если задание на паузе".
    • Способ второй. "Из очереди заданий, если задание завершено".
    • Способ третий. "Забираем результат из папки results".
  • Подключение прокси с авторизацией.
  • Примеры использования опции Extra query string.
Полезные ссылки:
  • https://a-parser.com/resources/categories/14/ - сохранение результатов (каталог)
  • https://a-parser.com/resources/77/ - Сохранение результатов нескольких парсеров в разные папки
  • https://a-parser.com/resources/394/ - Сохранение результатов в несколько файлов используя переменные, массивы и условия (видео)
  • https://a-parser.com/resources/397/ - Сохранение результатов в Google SpreadSheets
  • https://a-parser.com/wiki/proxy/ - Настройка прокси
  • https://a-parser.com/wiki/settings-and-presets/ - Общие настройки для парсеров
Оставляйте комментарии и подписывайтесь на наш канал на YouTube! (https://www.youtube.com/c/AParser_channel)

tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF(https://a-parser.com/threads/6418/)

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Аукцион доменов REG.RU (https://a-parser.com/resources/403/)

Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.

A-Parser__Advanced_SE_Parser_%26_Analyze_tool_-_Google_Chrome_2020-07-14_14.28.19.png


Определение категорий сайта (https://a-parser.com/resources/409/)

Парсер, собирающий категории сайтов из MegaIndex.

ykthu_200922132737.png


Парсинг PDF (https://a-parser.com/resources/407/)

Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.

PDF2Textcfsdfa.png


Кроме этого:
  • Парсер ссылок локаций для Social::Instagram::Geo (https://a-parser.com/resources/402/) - сбор ссылок на локации в Instagram
Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!

Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by(https://a-parser.com/threads/6471/)

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar (https://a-parser.com/resources/411/)

Парсер для сбора категорий сайтов из Cloudflare Radar

g5spg_201021200450.png


Rozetka - получение данных по API (https://a-parser.com/resources/412/)

Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.

rozetkasd.jpg


Парсинг объявлений kufar.by (https://a-parser.com/resources/410/)

Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.

A-Parser__Advanced_SE_Parser_%26_Analyze_tool_-_Google_Chrome_2020-10-21_19.39.43.png


А также, обновлены следующие ресурсы:
  • Парсинг комментариев из Youtube (https://a-parser.com/resources/352/)
  • Парсер собирающий вопросы и ответы из выдачи Google (https://a-parser.com/resources/337/)
Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).


tg_chat_btn.png
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
 
Очень годно, хотелось бы попробовать в деле:)
 
Отличный парсер, советую всё супер. Так что можете смело покупать
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху