A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser Support]

1.2.1432 - многоядерная обработка заданий, парсеры Wildberries, оптимизация производительности(https://a-parser.com/threads/7297/)



В версии 1.2.1432 добавлена долгожданная возможность (https://a-parser.com/threads/4417/#post-23309) обработки разных заданий на нескольких ядрах процессора, что многократно увеличивает производительность заданий, требовательных к CPU. Данная возможность доступна только для лицензии Enterprise, успейте сделать апгрейд до повышения цен

Улучшения​

• Добавлены новые парсеры:
  • Shop::Wildberries::ProductsList (https://a-parser.com/docs/parsers/shop-wildberries-productslist) - парсер списка товаров Wildberries по ключу, бренду или категории
  • Shop::Wildberries::ProductInfo (https://a-parser.com/docs/parsers/shop-wildberries-productinfo) - парсер данных о товаре на Wildberries
  • Util::hCaptcha (https://a-parser.com/docs/parsers/util-hcaptcha) - парсер для разгадывания hCaptcha с помощью сервисов разгадывания
• Добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise и многократно ускоряет обработку нескольких заданий в очереди
  
• Оптимизация скорости начальной загрузки и общей производительности JS парсеров, скорость загрузки A-Parser выросла на 30-50%
  
• В интерфейсе добавлен выбор версии API при создании парсеров
  
• Улучшена работа опции Detect charset on content
  
• В SE::Google (https://a-parser.com/docs/parsers/se-google) обновлен список доменов
• В SE::Yandex::Direct (https://a-parser.com/docs/parsers/se-yandex-direct) обновлен список регионов
  
• В Check::BackLink (https://a-parser.com/docs/parsers/check-backlink) добавлена возможность проверки ссылки без указания протокола в режиме поиска по подстроке

Исправления в связи с изменениями в выдаче

• Исправлена работа SE::Yandex (https://a-parser.com/docs/parsers/se-yandex)
• Исправлено получение $commentscount в Shop::Amazon (https://a-parser.com/docs/parsers/shop-amazon)
  
• Исправлен сбор $number_sales в Shop::eBay (https://a-parser.com/docs/parsers/shop-ebay)
  
• Исправлена работа SE::Yandex::Direct (https://a-parser.com/docs/parsers/se-yandex-direct)
  
• Исправлена работа парсеров Bukvarix

Исправления

• Исправлена работа SE::Google (https://a-parser.com/docs/parsers/se-google) с доменом google.com.bd
• Исправлен сбор ссылок в HTML::LinkExtractor (https://a-parser.com/docs/parsers/html-linkextractor) в некоторых случаях
• Исправлен баг интерфейса, из-за которого в Планировщике была скрыта кнопка удаления заданий

Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы (https://a-parser.com/threads/7265/) вступят в силу 15 Февраля 2022

– https://a-parser.com/pages/buy/

[A-Parser Support]

Сборник рецептов #49: генерация картинок и текстов, парсер adult ключевых слов(https://a-parser.com/threads/7321/)

49-й сборник рецептов, в котором собраны парсер для генерации картинок, парсер для генерации текстов и парсер ключевых слов адалт тематики.

Генерация картинок ruDALL-E (https://a-parser.com/resources/436/)
Парсер, позволяющий автоматически массово генерировать уникальные изображения по списку ключевых слов с помощью нейросети ruDALL-E.



Яндекс Балабоба - генератор текстов от Яндекс (https://a-parser.com/resources/438/)
Данный парсер использует сервис Яндекс Балабоба для генерации коротких текстов по списку ключевых слов или предложений. Также возможна генерация текстов рекламных объявлений для доменов.



Подсказки NudeVista (https://a-parser.com/resources/435/)
Парсер адалт подсказок из сайта nudevista.com. Может использоваться для парсинга списков ключевых слов adult тематики.



Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

(https://t.me/a_parser) (https://a-parser.com/pages/affiliate/)​

Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы (https://a-parser.com/threads/7265/) вступят в силу 15 Февраля 2022

– https://a-parser.com/pages/buy/

[A-Parser Support]

Сборник статей #15: разработка TypeScript парсеров и массовая индексация в Google(https://a-parser.com/threads/7338/)

Представляем 15-й сборник статей, в который вошли статья о разработке TypeScript парсера для генерации картинок с помощью нейросети и статья об опыте массовой индексации страниц в Google.

Генерация картинок ruDALL-E. Мануал по созданию TS парсера (https://a-parser.com/resources/437/)
В прошлом сборнике рецептов (https://a-parser.com/threads/7321/) мы опубликовали парсер для генерации картинок ruDALL-E (https://a-parser.com/resources/436/). Сегодня же мы представляем вам развернутую статью, где подробно рассказано об общем подходе к написанию таких парсеров и описан процесс разработки.
Ознакомиться с функционалом данного парсера можно в обзорном видео от нашего партнера DIM STUDIO:


https://www.youtube.com/embed/qmN33G-l34U

Как проиндексировать сайт в Google и повысить видимость (https://vc.ru/seo/365542-kak-proindeksirovat-sayt-v-google-i-povysit-vidimost-opyt-ispolzovaniya-google-indexing-api-s-primerami)
Статья на vc.ru о том, как за 10 дней было проиндексировано более чем 30 000 страниц сайта в Google.
Для массовой индексации в Google использовался скрипт на Python и Google Indexing API.
Для проверки индексации использовался A-Parser, в нашем Каталоге есть пример такого пресета: https://a-parser.com/resources/160/ (https://a-parser.com/resources/160/)



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки [img]styles/default/xenforo/clear.png[/img] ) - отписывайтесь здесь (https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

– https://t.me/a_parser
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries(https://a-parser.com/threads/7450/)



Улучшения

• Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
• NodeJS обновлен до 16.15.0
• В SE::Google (https://a-parser.com/docs/parsers/se-google) добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
• В парсере Maps::Google (https://a-parser.com/docs/parsers/maps-google) добавлен автоматический обход координат в заданном регионе, детальнее здесь (https://a-parser.com/threads/7363/)
• В Telegram::GroupScraper (https://a-parser.com/docs/parsers/telegram-groupscraper) добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
• В SE::YouTube (https://a-parser.com/docs/parsers/se-youtube) добавлен сбор количества подписчиков канала
• В SE::Google::Trends (https://a-parser.com/docs/parsers/se-google-trends) добавлен сбор id тем для related topics
• В парсере Shop::Wildberries::ProductsList (https://a-parser.com/docs/parsers/shop-wildberries-productslist) добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
• Добавлен парсер подсказок Wildberries: Shop::Wildberries::Suggest (https://a-parser.com/docs/parsers/shop-wildberries-suggest)
• В Shop::Wildberries::ProductInfo (https://a-parser.com/docs/parsers/shop-wildberries-productinfo) добавлен сбор дополнительных данных
• В SE::Google::Images (https://a-parser.com/docs/parsers/se-google-images) добавлены новые типы в Usage rights
• Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
• В Net::HTTP (https://a-parser.com/docs/parsers/net-http) и JS парсерах добавлена опция Randomize TLS Fingerprint
• Улучшена работа с Chromium из JavaScript парсеров
• В Net::HTTP (https://a-parser.com/docs/parsers/net-http) и this.request() (https://a-parser.com/docs/javascript-parsers/class-methods-v2/http-requests) теперь по-умолчанию используется user-agent последнего Chrome

Исправления в связи с изменениями в выдаче

• Множество адаптаций к изменениям в верстке Google, Яндекс, Bing
• В парсерах Яндекса исправлен парсинг турбо страниц
• Исправлена работа SE::Yandex::WordStat (https://a-parser.com/docs/parsers/se-yandex-wordstat), в планах полная переработка данного парсера с добавлением нового функционала
• В SE::Yandex::ByImage (https://a-parser.com/docs/parsers/se-yandex-byimage) исправлен парсинг выдачи
• Исправлен парсинг имени пользователя в Telegram::GroupScraper (https://a-parser.com/docs/parsers/telegram-groupscraper)
• В SE::Google::ByImage (https://a-parser.com/docs/parsers/se-google-byimage) изменен набор собираемых данных и формат результата по-умолчанию, а также в целом исправлена его работа
• Исправлена работа парсеров Букварикс, но из-за высокой нагрузки на их API данные парсеры могут не работать
• Исправлен парсинг сниппетов в SE::Google::ByImage (https://a-parser.com/docs/parsers/se-google-byimage)
• SE::Google::TrustCheck (https://a-parser.com/docs/parsers/se-google-trustcheck), Check::RosKomNadzor (https://a-parser.com/docs/parsers/check-roskomnadzor), SE::DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo), SE::Seznam (https://a-parser.com/docs/parsers/se-seznam), Shop::Wildberries::ProductsList (https://a-parser.com/docs/parsers/shop-wildberries-productslist), SE::Baidu (https://a-parser.com/docs/parsers/se-baidu), SE::Google::Images (https://a-parser.com/docs/parsers/se-google-images), Rank::Ahrefs::KeywordGenerator (https://a-parser.com/docs/parsers/rank-ahrefs-keywordgenerator)

Исправления

• Исправлена ошибка в Shop::Wildberries::ProductsList (https://a-parser.com/docs/parsers/shop-wildberries-productslist), из-за которой с некоторыми запросами не выводился $totalcount
• Исправлена загрузка каптч в SE::Yandex::Images (https://a-parser.com/docs/parsers/se-yandex-images)
• Устранена утечка памяти в парсере DeepL::Translator (https://a-parser.com/docs/parsers/deepl-translator), а также другие ошибки
• Исправлена работа проксичекера с socks5 IPv6 прокси
• Исправлена работа опции Don't verify TLS certs в некоторых случаях
• Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
• Исправлено зависание Тестового парсинга при редактировании кода парсеров
• Исправлен проход по редиректам в HTML::LinkExtractor (https://a-parser.com/docs/parsers/html-linkextractor)
• Исправлен выбор домена в SE::Yahoo (https://a-parser.com/docs/parsers/se-yahoo)
• Исправлена заспамленость лога ошибками при использовании Maps::Yandex (https://a-parser.com/docs/parsers/maps-yandex)
• Исправлен сбор результатов $records в Net::DNS (https://a-parser.com/docs/parsers/net-dns)
• Исправлена ошибка когда не находилась следующая страница опцией Check next page

– https://t.me/a_parser
– https://a-parser.com/pages/affiliate/