A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser Support]

1.2.455 - поддержка puppeteer, все методы в Net::HTTP, обновление Bypass Cloudflare(https://a-parser.com/threads/5295/)

Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.

• Пример парсера и более детальное описание(https://a-parser.com/resources/330/)
• Документация по puppeteer(https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md)

Улучшения

• SE::Bing::Images полностью переписан, добавлен сбор дополнительных данных, а также в настройках добавлен выбор региона и языка интерфейса
• В Net::HTTP добавлены все методы в настройки, а также реализована возможность переопределения через заголовок Method
• Добавлена возможность форматирования всех цифр в интерфейсе
• JS парсеры: в this.parser.request для override добавлена опция needData, которая определяет передавать или нет в ответе data/pages[], может использоваться для оптимизации
• JS парсеры: добавлена поддержка модулей url и ws

Исправления в связи с изменениями в выдаче

• Net::Whois - не всегда корректно обрабатывалась доменная зона com.br
• SE::Yandex, SE::Ask, SE:: DuckDuckGo, SE:: DuckDuckGo::Images, Rank::MajesticSEO

Исправления

• Исправлена работа функции Bypass Cloudflare в Net::HTTP
• Исправлена ошибка, из-за которой при определенных настройках не писался Начальный текст
• Исправлена работа некоторых socks4 прокси
• Исправлена ошибка в $tools.base64.encode() при работе с кириллическими символами
• В Shop::Amazon исправлена ошибка, при которой игнорировался домен
• JS парсеры: исправлена редкая ошибка в работе сокетов в Node.js

[A-Parser Support]

Сборник рецептов #31: скидка -50% на XEvil, скриншоты страниц, подсказки Я.Маркета и правописание(https://a-parser.com/threads/5314/)
31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

Скидка -50% на покупку XEvil для существующих и новых пользователей A-Parser
Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
Для получения промокода на покупку XEvil пишите в тикеты.


JS::Chrome::ScreenshotsMaker
Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.


Парсер подсказок Яндекс.Маркет
Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.


Проверка правописания в Google
Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.

[A-Parser Support]

Видео урок: Работа с MySQL
Видеоурок по работе с MySQL в A-Parser. В нем на реальном примере показано как работать с базами данных MySQL, используя Node.js модуль mysql2.



В этом уроке рассмотрены:

• Установка и подключение модулей
• Некоторые основы языка запросов SQL
• Создание базы данных MySQL
• Получение и запись данных в БД, используя JS-парсеры

Полезные ссылки:

• https://www.mysql.com/products/workbench/
• https://www.npmjs.com/package/mysql
• https://a-parser.com/resources/308

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel)

[A-Parser Support]

Сборник рецептов #32: Yahoo Answers, контакты фрилансеров и оценка ключевых слов(https://a-parser.com/threads/5351/)

32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

Парсер Yahoo Answers
Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.


Парсинг контактов фрилансеров
Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.


Анализ ключевых слов
Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.


Еще больше различных рецептов в нашем Каталоге!

[A-Parser Support]

1.2.484 - 4 новых парсера, улучшение работы и исправление существующих(https://a-parser.com/threads/5367/)

Улучшения

• Новые парсеры:
  • Maps::Googl - по ключевым словам собирает различные данные об организациях в заданных координатах
  • Maps::Yandex - по ключевым словам собирает различные данные об организациях в заданных координатах
  • Rank::Bukvarix:: Domain - сбор ключевых слов по домену
  • Rank::Bukvarix::Keyword - сбор ключевых слов по домену
• Удалены 4 неактуальных парсера: Rank::SEMrush::Keyword, SE::QIP, SE::QIP::Position, Rank::MegaIndex
• Улучшена работа SE::AO
• JS парсеры: для this.request добавлена опция data_as_buffer, которая определяет возвращать data как строку(String) или объект Buffer

Исправления в связи с изменениями в выдаче

• В SE::Google::Modern исправлена работа с рекаптчами, исправлен парсинг сниппетов, а также исправлен парсинг мобильной выдачи
• Rank::SEMrush полностью переписан, также полностью изменился список собираемых данных, парсер возвращает только те данные, которые доступны без авторизации
• Полностью переписан Rank::Alexa
• Исправлена работа Rank::MajesticSEO, теперь обязательно требуется установка Node.js и модуля brotli
• В Rank::Social::Signal удалена переменная $facebook_share в связи с прекращением поддержки со стороны FB
• SE::IxQuick, Shop::AliExpress, SE:: DuckDuckGo::Images , Shop::Amazon, Check::RosKomNadzor

Исправления

• Исправлена работа с запросами, содержащими пробел в SE:: DuckDuckGo
• Исправлена проблема с декомпресией данных на некоторых сайтах
• JS парсеры: исправлена работа setImmediate

[A-Parser Support]

Видео урок: Получение уведомлений в Telegram об окончании срока регистрации доменов
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.

В уроке рассмотрено:

• использование tools.js для написания собственных функций
• работа с шаблонизатором Template Toolkit
• проверка доменов через WHOIS
• цепочки заданий
• отправка сообщений в Telegram с помощью бота

Полезные ссылки:

• https://a-parser.com/threads/4316/ - статья о создании бота и группы для получения уведомлений в Telegram
• https://a-parser.com/resources/304/ - видеоурок по созданию Телеграм канала на базе A-Parser
• https://a-parser.com/resources/287/ - готовые для импорта пресеты
• https://core.telegram.org/bots/api - документация по Telegram Bot API

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ

[A-Parser Support]

[URL=https://a-parser.com/threads/5395/]1.2.503 - обновление JavaScript движка и множество улучшений[/URL]

Улучшения

• Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
• В [URL=https://a-parser.com/wiki/se-yandex/]SE::Yandex[/URL] в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
• В [URL=https://a-parser.com/wiki/rank-bukvarix-domain/]Rank::Bukvarix:: Domain[/URL] добавлена переменная $totalcount которая содержит количество результатов
• В [URL=https://a-parser.com/wiki/se-yahoo/]SE::Yahoo[/URL] добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой

Исправления в связи с изменениями в выдаче

• Исправлен парсинг $title в [URL=https://a-parser.com/wiki/shop-yandex-market/]Shop::Yandex::Market[/URL]
• В [URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL] исправлен парсинг видео в мобильной выдаче
• В [URL=https://a-parser.com/wiki/maps-yandex/]Maps::Yandex[/URL] исправлен парсинг рейтингов
• Исправлена проверка получаемого контента в [URL=https://a-parser.com/wiki/se-yahoo/]SE::Yahoo[/URL]
• [URL=https://a-parser.com/wiki/se-duckduckgo/]SE:: DuckDuckGo[/URL], [URL=https://a-parser.com/wiki/shop-amazon/]Shop::Amazon[/URL], SE:: DuckDuckGo::Images

Исправления

• Исправлена редкая проблема с ошибками в JS парсерах на Windows
• В [URL=https://a-parser.com/wiki/se-baidu/]SE::Baidu [/URL]исправлена работа функции Get full links для результатов без ссылок
• Исправлена проблема с Decode JSON error в парсерах WordStat
• Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий

[URL=https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ][/URL]

[A-Parser Support]

Сборник рецептов #33: парсинг Google карт, сбор вопросов из поиска, перевод текстов целиком(https://a-parser.com/threads/5423/)

33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

Сбор всех организаций в определенной местности
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.


Парсер собирающий вопросы и ответы из выдачи Google
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.


Использование файлов целиком в качестве запросов\
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.


Еще больше различных рецептов в нашем Каталоге(https://a-parser.com/resources/)!



https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ

[A-Parser Support]

Видео урок: Макросы подстановок(https://a-parser.com/threads/5453/)
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.

В уроке рассмотрено:

• макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
• макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
• макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:

• https://a-parser.com/wiki/query-format/#Макросы-подстановок - документация по макросам подстановок
• https://a-parser.com/resources/336/ - пресет по перебору координат в Maps::Google
• https://a-parser.com/resources/340/
• https://a-parser.com/resources/341/ - пресет для парсинга с inurl:
• https://a-parser.com/resources/342/ - пресет для парсинга подсказок

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel)


https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ

[A-Parser Support]

1.2.534 - 6 новых парсеров, поддержка Node.js в tools.js, множество исправлений в парсерах(https://a-parser.com/threads/5466/)

Улучшения

• Добавлено 4 новых парсера Instagram
  • Social::Instagram::Post - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
  • Social::Instagram::Profile - парсинг данных о профилях и списка постов
  • Social::Instagram::Tag - парсинг постов по тегах
  • Social::Instagram::Geo - парсинг постов в определенной локации
• Добавлено 2 новых парсера SerpStat
  • Rank::SerpStat::Keyword - парсинг данных по ключевому слову
  • Rank::SerpStat:: Domain - парсинг данных по доменам/ссылкам
• Добавлена поддержка дробных чисел в макросе подстановок {num}
• Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
• Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
• Стабилизирована работа SE::Google::Modern после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
• Улучшена проверка ответа в Maps::Yandex, улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
• API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
• Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы

Исправления в связи с изменениями в выдаче

• Исправлена ситуация, при которой в [URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL] выдавался 597 код ответа
• В [URL=https://a-parser.com/wiki/se-yandex/]SE::Yandex[/URL] исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
• Исправлена редко встречающаяся проблема с [URL=https://a-parser.com/wiki/se-google-translate/]SE::Google::Translate[/URL], когда парсер получал в ответ 403 статус
• Исправлено определение языка запроса в [URL=https://a-parser.com/wiki/se-google-translate/]SE::Google::Translate[/URL]
• Исправлена работа [URL=https://a-parser.com/wiki/se-youtube/]SE::YouTube[/URL], а также исправлен сбор $title
• В Rank::Social::Signa удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
• В Shop::Yandex::Market исправлен парсинг $features для некоторых видов запросов
• Исправлен урл запроса в SE:: DuckDuckGo

Исправления

• Исправлен баг в Rank::Bukvarix:: Domain, из-за которого в некоторых случая парсинг завершался с ошибкой
• В парсерах Maps::* исправлена работа с отрицательными координатами
• В Rank::SEMrush исправлена ошибка определения "удачности" запроса
• Исправлен баг в tools.js, возникший после обновления V8
• API: исправлена работа метода getAccountsCount
• JS парсеры: исправлен баг со слэшем в check_content

https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ