A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser Support]

1.2.1294 - новые опции и расширение перечня типов собираемых данных в некоторых парсерах, багфиксы(https://a-parser.com/threads/7042/)



Улучшения

• В SE::Google (https://a-parser.com/docs/parsers/se-google) добавлены новые опции:
  • Exact match - соответствует опции в поисковике "Точное соответствие"
  • Safe search - позволяет включать/отключать Безопасный поиск Google
• В SE::DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo) добавлены опции Safe search и Serp time, а также исправлены мелкие ошибки в логике работы
  
• В SE::Google::Trends (https://a-parser.com/docs/parsers/se-google-trends) добавлена опция Use empty queries(ignore query value) которая позволяет осуществлять поиск по категории
  
• В SE::Yandex::Direct (https://a-parser.com/docs/parsers/se-yandex-direct) реализована поддержка каптч, а также добавлена переменная, позволяющая различать органическую и рекламную выдачу
  
• В SE::YouTube (https://a-parser.com/docs/parsers/se-youtube) добавлена возможность парсить "Похожие запросы", а также собирать дату добавления видео
  
• В SE::Yandex::Suggest (https://a-parser.com/docs/parsers/se-yandex-suggest) добавлен выбор способа запроса, один из которых позволяет собирать все расширенные подсказки (реклама, факты, ссылки на сайты)
• В Net::HTTP (https://a-parser.com/docs/parsers/net-http) добавлена опция Don't verify TLS certs
  
• В Google::Maps (https://a-parser.com/docs/parsers/google-maps) добавлена возможность парсить ссылку на карточку компании
  
• Добавлено обнаружение ограниченных (18+) профилей в Social::Instagram::Profile (https://a-parser.com/docs/parsers/social-instagram-profile)
  
• Улучшена поддержка доменных прокси
  
• Исправлена работа с await this.request (https://a-parser.com/docs/javascript-parsers/class-methods-v2#await-thisrequestmethod-url-queryparams-opts)в JavaScript API v2
  
• Реализован автоматический запуск заданий в статусе Some error при перезагрузке A-Parser
  
• Добавлен флаг статичного формата имени файла результата, который позволит более гибко называть файлы и при этом сохранять возможность получать ссылки на них через getTaskResultsFile (https://a-parser.com/docs/api/methods#gettaskresultsfile)

Исправления в связи с изменениями в выдаче

• Исправлено определение AMP ссылок в SE::Google (https://a-parser.com/docs/parsers/se-google)
  
• Исправлен парсинг рекламных анкоров в SE::Yandex (https://a-parser.com/docs/parsers/se-yandex)
  
• Исправлена проблема со 100%-м баном запросов в SE::Bing (https://a-parser.com/docs/parsers/se-bing)
• Исправлена работа Net::Whois (https://a-parser.com/docs/parsers/net-whois) с доменной зоной .sex
  
• В Shop::AliExpress (https://a-parser.com/docs/parsers/shop-aliexpress) изменился набор собираемых данных
  
• Адаптация к изменениям в верстке: SE::Google (https://a-parser.com/docs/parsers/se-google), SE::Yandex (https://a-parser.com/docs/parsers/se-yandex), SE::Bing (https://a-parser.com/docs/parsers/se-bing), SE::Seznam (https://a-parser.com/docs/parsers/se-seznam), Rank::MOZ (https://a-parser.com/docs/parsers/rank-moz), DeepL::Translator (https://a-parser.com/docs/parsers/deepl-translator), HTML::LinkExtractor (https://a-parser.com/docs/parsers/html-linkextractor), SE::Startpage (https://a-parser.com/docs/parsers/se-startpage), SE::Yandex::ByImage (https://a-parser.com/docs/parsers/se-yandex-byimage), Rank::MajesticSEO (https://a-parser.com/docs/parsers/rank-majesticseo), Shop::Yandex::Market (https://a-parser.com/docs/parsers/shop-yandex-market), SE::Rambler (https://a-parser.com/docs/parsers/se-rambler), SE::YouTube (https://a-parser.com/docs/parsers/se-youtube)

Исправления

• Исправлена работа с поисковыми операторами в SE::DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo)
  
• Исправлена работа SE::Google::Translate (https://a-parser.com/docs/parsers/se-google-translate) с некоторыми языками
  
• Исправлена работа Redis API (https://a-parser.com/docs/api/redis), проблема появилась в одной из предыдущих версий

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

Бонусы от Leadgid и видеоуроки от DIM STUDIO - https://a-parser.com/threads/7059/



Дорогие друзья!

Наш партнёр, международная финансовая партнёрская сеть Leadgid, подготовила бонусы для новых пользователей!

Регистрируйтесь уже сейчас, лейте трафик и получайте бонус +10% к первой выплате. Для этого достаточно сообщить своему менеджеру промокод APARSERSTART10

В Leadgid вы можете найти более 500 финансовых офферов и более 30 ГЕО.

В арсенале партнёрки есть офферы не только по СНГ, но и по всему миру: Испании, Эстонии, Польше, Мексике, Вьетнаму, США и многим другим странам!

Leadgid известен в арбитражных кругах своим насыщенным нетворкингом и крутыми конкурсами. Принимайте участие в новом конкурсе "Остров Сокровищ Leadgid" и летите вместе с Leadgid на Мальдивы, где вас будет ждать грандиозная вечеринка с розыгрышем главных призов!

Регистрация по ссылке: https://my.leadgid.com/?utm_source=aparser&utm_medium=referral&ut m_campaign=collab

__________________________________________________ ____________
А также, мы представляем видео уроки по работе с A-Parser от DIM STUDIO. На данный момент уже доступно 13 уроков и их список будет пополняться.

]Плейлист со всеми видео уроками



Список тем:

* Знакомство. Установка, первичная настройка, запуск первого проекта.
* A-Parser - XEVIL: Подключаем и проверяем.
* Сбор главныx страниц phpbb форумов.
* Как собрать DLE сайты через проверку HTML кода.
* Последовательный сбор трёх движков статистики (Refspam).
* Сбор ников с сайтов.
* Поиск активных ссылок в отчётах Xrumer + Nofollow.
* Сбор базы форм обратной связи для Xrumer.
* Импорт/Экспорт пресетов.
* Поиск движка AWSTATS.
* Определяем движки из баз для Xrumer с помощью Rank::CMS.
* Сбор базы ключевых слов через Rank::Bukvarix::Keyword.
* Собираем данные из групп Telegram.

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: https://www.youtube.com/c/AParser_channel - A-Parser и https://www.youtube.com/channel/UCzTUeWXwm4YApVVXTWwySrw - DIM STUDIO !

https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ

https://a-parser.com/pages/affiliate/

[A-Parser Support]

Сборник статей #13: работа с MongoDB и поиск дроп доменов(https://a-parser.com/threads/7086/)

Представляем 13-й сборник статей, в который вошли статья о работе с MongoDB и статья по поиску дроп доменов с использованием A-Parser.

Пример интеграции А-Парсера с MongoDB. CRUD Операции (https://a-parser.com/resources/428/)

В данной статье рассмотрен пример интеграции А-Парсера с MongoDB. В частности показаны CRUD операции. В качестве хранимых данных в базе используются результаты работы парсера поисковой выдачи Bing.



Дроп домены: для построения сеток PBN (https://a-parser.com/resources/427/)

PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. В этой статье на конкретном примере показан пример решения задачи по поиску дропов с использованием A-Parser.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь (https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ -
https://a-parser.com/pages/affiliate/ -

[A-Parser Support]

1.2.1325 - новые парсеры Pinterest, улучшения в существующих парсерах, исправление ошибок(https://a-parser.com/threads/7100/)



Улучшения

• Добавлены парсеры Pinterest:
  • SE::Pinterest (https://a-parser.com/docs/parsers/se-pinterest) - парсинг поисковой выдачи Pinterest
  • SE::Pinterest::Suggest (https://a-parser.com/docs/parsers/se-pinterest-suggest) - парсинг подсказок Pinterest с возможностью парсить в глубину
• В SE::Google (https://a-parser.com/docs/parsers/se-google) добавлен парсинг исправленного запроса
  
• В SE::Dogpile::Images (https://a-parser.com/docs/parsers/se-dogpile-images) добавлена поддержка рекаптч
  
• В Shop::Yandex::Market (https://a-parser.com/docs/parsers/shop-yandex-market) добавлен сбор количества покупок и просмотров
  
• В HTML::EmailExtractor (https://a-parser.com/docs/parsers/html-emailextractor) улучшено обнаружение почт, защищенных CF

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке в SE::Google (https://a-parser.com/docs/parsers/se-google) и SE::Yandex (https://a-parser.com/docs/parsers/se-yandex)
  
• Исправлено определение turbo страниц в SE::Yandex (https://a-parser.com/docs/parsers/se-yandex)
  
• Исправлена и оптимизирована работа SE::Google::TrustCheck (https://a-parser.com/docs/parsers/se-google-trustcheck) и SE::Google::Compromised (https://a-parser.com/docs/parsers/se-google-compromised)
  
• SE::Google::Cache (https://a-parser.com/docs/parsers/se-google-cache), SE::DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo), Rank::Alexa (https://a-parser.com/docs/parsers/rank-alexa), Rank::Ahrefs (https://a-parser.com/docs/parsers/rank-ahrefs)

Исправления

• Исправлена проблема с распознаванием символов диакритики
• Устранены падения при ошибках в некоторых API запросах
• Исправлены зависания при парсинге SE::Yandex (https://a-parser.com/docs/parsers/se-yandex) с использованием аккаунтов
  
• Исправлена ошибка распознавания дат в Net::Whois (https://a-parser.com/docs/parsers/net-whois), а также адаптирован сбор данных для некоторых зон
• Исправлена ошибка выбора IP для Xevil/CapMonster в Util::ReCaptcha2 (https://a-parser.com/docs/parsers/util-recaptcha2)
• Исправлена ошибка с указанием Provider url в Util::ReCaptcha2 (https://a-parser.com/docs/parsers/util-recaptcha2)
  
• Исправлена ошибка при которой отсутствовал объект с перечнем редиректов в Net::HTTP (https://a-parser.com/docs/parsers/net-http) при Engine = Chrome
  
• Исправлена работа Net::HTTP (https://a-parser.com/docs/parsers/net-http) с http сайтами при Engine = Chrome
• JS парсеры: исправлена работа noChange в this.proxy.set()
• JS парсеры: исправлена ошибка, при которой set.lvl был пустой при вызове другого парсера из JS парсера
• Исправлена работа кнопки Выход

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

Сборник рецептов #48: скорость загрузки сайтов, парсер SocialBlade и определение категорий сайтов(https://a-parser.com/threads/7123/)

48-й сборник рецептов, в котором собраны пресеты для сбора данных о скорости загрузки сайтов, парсинга статистики из SocialBlade и определения категорий сайтов.

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool (https://a-parser.com/resources/429/)
Пресет для сбора данных о скорости загрузки сайтов/страниц с возможностью выбрать платформу (Desktop/Mobile/All). С его помощью можно массово измерить скорость по большим спискам сайтов и сравнить их производительность.



Парсинг статистики с Social Blade (https://a-parser.com/resources/430/)
Парсер для сбора данных из сервиса socialblade.com. С его помощью по ключевому слову, имени, бренду можно найти пользователей по социальным платформам, собрать количества подписчиков и спарсить теги твича.



Проверка категории сайтов через сервис cyren.com (https://a-parser.com/resources/431/)
Парсер сервиса cyren.com. С его помощью можно определить категорию сайта, а также собрать Alexa rank и некоторые Whois данные.




Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

Видео урок: Сбор форм обратной связи с тематических ресурсов +200 OK(https://a-parser.com/threads/7130/)

Новый видео урок по работе с A-Parser от DIM STUDIO, в котором рассмотрен способ сбора форм обратной связи с тематических ресурсов.



В данном уроке показано как собрать формы обратной связи с тематических ресурсов с последующей проверкой на 200 OK через A-Parser для подготовки к последующему прогону через Xrumer.

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser (https://www.youtube.com/c/AParser_channel) и DIM STUDIO ! - (https://www.youtube.com/channel/UCzTUeWXwm4YApVVXTWwySrw)

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
– https://a-parser.com/pages/affiliate/

[A-Parser Support]

1.2.1353 - Обновление NodeJS, поддержка Windows 11 и Windows Server 2022(https://a-parser.com/threads/7157/)



Улучшения

• NodeJS обновлен до версии 16.11.0
  
• Добавлена полная поддержка ОС Windows 11 и Windows Server 2022
  
• В SE::Google::Translate (https://a-parser.com/docs/parsers/se-google-translate) добавлена опция Device, которая позволяет переключаться между mobile и desktop версиями переводчика
• Улучшена работа с очень большими запросами в DeepL::Translator (https://a-parser.com/docs/parsers/deepl-translator)
  
• Улучшен алгоритм разделения запросов на части в SE::Yandex::Translate (https://a-parser.com/docs/parsers/se-yandex-translate), теперь он максимально приближен к оригиналу
  
• В SE::Google::Cache (https://a-parser.com/docs/parsers/se-google-cache) добавлена переменная $link, содержащая ссылку из тулбара
• В Shop::Amazon (https://a-parser.com/docs/parsers/shop-amazon) добавлена возможность парсить ASIN товаров
• В Rank::MajesticSEO (https://a-parser.com/docs/parsers/rank-majesticseo) добавлена возможность собирать Incoming Languages и Site Languages

Исправления в связи с изменениями в выдаче

• Исправлен парсинг рекламы в SE::Google (https://a-parser.com/docs/parsers/se-google)
• Исправлен парсинг $related в desktop выдаче SE::Yandex (https://a-parser.com/docs/parsers/se-yandex)
  
• Исправлен парсинг сниппетов в desktop выдаче и парсинг mobile выдачи в целом в SE::Bing (https://a-parser.com/docs/parsers/se-bing)
  
• Исправлена работа парсеров Rank::Ahrefs (https://a-parser.com/docs/parsers/rank-ahrefs) и Rank::Ahrefs::KeywordDifficulty (https://a-parser.com/docs/parsers/rank-ahrefs-keyworddifficulty)
• Rank::LinkPad удален из сборки в связи с закрытием доступа к данным
  
• Исправлен парсинг $totalcount в SE::Yahoo (https://a-parser.com/docs/parsers/se-yahoo)

Исправления

• Исправлена ошибка с символом $ в DeepL::Translator (https://a-parser.com/docs/parsers/deepl-translator)
• Исправлена работа прокси при использовании движка Chrome в Net::HTTP (https://a-parser.com/docs/parsers/net-http)
  
• Исправлена проблема стабильности при использовании в некоторых случаях HTML::TextExtractor (https://a-parser.com/docs/parsers/html-textextractor) и HTML::TextExtractor::LangDetect (https://a-parser.com/docs/parsers/html-textextractor-langdetect)
  
• Исправлена проблема из-за которой SE::Youtube (https://a-parser.com/docs/parsers/se-youtube) иногда завершался с ошибкой
• Исправлен вывод исходников страниц в SE::Google::ByImage (https://a-parser.com/docs/parsers/se-google-byimage)

– https://t.me/a_parser - https://a-parser.com/pages/affiliate/

[A-Parser Support]

Сборник статей #14: авторизация на сайтах, скачивание изображений и парсинг Telegram(https://a-parser.com/threads/7198/)

Представляем 14-й сборник статей, в который вошли обзор вариантов авторизации на сайтах, статья о скачивании изображений из сайтов и способ получения сообщений из чатов Telegram.

Варианты авторизации на сайте с помощью A-Parser (https://a-parser.com/resources/434/)
В статье рассмотрено 3 основных варианта авторизации на сайте с использованием различного функционала A-Parser.



Скачивание всех изображений из сайта (https://a-parser.com/resources/432/)
Обзор решения задачи по скачиванию всех изображений из сайта. В статье рассмотрено 2 способа парсинга и показаны преимущества и недостатки каждого.



Способ получения данных с чатов Телеграм используя экспорт сообщений (https://a-parser.com/resources/433/)
Статья, посвященная вопросу парсинга данных из Telegram. В статье описаны и сравниваются между собой встроенный в клиент Telegram экспорт сообщений и парсинг с помощью A-Parser.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь (https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

- https://t.me/a_parser [/url] - https://a-parser.com/pages/affiliate/

[cryptoexchanger]

Все еще работает? Интересна как так происходит что выходит постоянно ошибка

[A-Parser Support]

Сообщение от cryptoexchanger

Все еще работает? Интересна как так происходит что выходит постоянно ошибка

Программа конечно работает. Если у вас возникли проблемы с программой, то напишите в тех поддержку по одному из контактов с понедельника после НГ.