|
Видео урок: Создание JS парсеров. Работа с ReCaptcha2(https://a-parser.com/threads/4493/)
Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере. В уроке рассмотрено:
Ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel) |
Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат [url=https://a-parser.com/threads/4517/]
23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали! Получение категорий сайтов из Google [url=https://a-parser.com/resources/285/] Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google. https://files.a-parser.com/img/tdhcp_180525110933.png Выгрузка товаров в формате YML[url=https://a-parser.com/resources/284/] YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше. https://files.a-parser.com/img/00xer_180528101714.png Парсим Google новости с датой и преобразуем ее[url=https://a-parser.com/resources/281/] В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше. https://files.a-parser.com/img/7adjc_180507103637.png Кроме этого:
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. [url=https://a-parser.com/threads/3464/] Подписывайтесь на Наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser]. Предыдущие сборники рецептов:
|
1.2.216 - улучшения в SE::Google::Modern и JS парсерах, а также множество других[https://a-parser.com/threads/4563/]
https://files.a-parser.com/img/1.2.216.png Улучшения
|
Сборник рецептов #24
Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite [url=https://a-parser.com/threads/4591/]
24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали! Получаем уведомления в Telegram об окончании срока регистрации доменов [url=https://a-parser.com/resources/287/] Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше. https://files.a-parser.com/img/180620_185942_00001.png Проверка блокировки РосКомНадзора через GitHub [url=https://a-parser.com/resources/286/] В А-Парсере есть стандартный парсер Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше. https://files.a-parser.com/img/js9b9_180621103423.png Простой парсер обменника с записью в БД SQLite [url=https://a-parser.com/resources/275/] Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше. https://files.a-parser.com/img/Lati2.png Еще больше различных рецептов в нашем Каталоге [url=https://a-parser.com/resources/]! Предлагайте ваши идеи для новых парсеров здесь [url=https://a-parser.com/threads/3464/], лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser]. Предыдущие сборники рецептов:
|
1.2.246 - обновление базы Rank::CMS и новые функции
1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO[url=https://a-parser.com/threads/4614/]
https://files.a-parser.com/img/1.2.246.png Улучшения
|
Сборник статей #4: добавление товаров в OpenCart и парсинг JSON(https://a-parser.com/threads/4647/)
В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали! Работаем с OpenCart. Часть 1. Вступление.(https://a-parser.com/resources/291/) Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше. https://files.a-parser.com/img/32t3m_180712101444.png Парсинг JSON ответов и работа с их содержимым(https://a-parser.com/resources/289/) JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON. https://files.a-parser.com/img/a52w5_180711161912.png Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь(https://a-parser.com/threads/3464/). Подписывайтесь на наш канал на Youtube(http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(http://www.youtube.com/c/AParser_channel). Предыдущие сборники статей
|
Видео урок: Создание JS парсеров. Работа с SQLite
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере. В этом уроке рассмотрены: - Знакомство с языком запросов SQL - Создание простейшей базы данных SQLite при работе с JS-парсером - Получение и запись данных в базу SQLite при работе с JS-парсером Ссылки: - http://www.sql-tutorial.ru/ru/content.html - учебник по SQL - http://samoychiteli.ru/document29118.html - тоже учебник по SQL - https://finance.i.ua/converter/ - сайт, который использовался в качестве примера - https://a-parser.com/resources/276/ - статья и готовый парсер Оставляйте комментарии и [https://www.youtube.com/c/AParser_channel] подписывайтесь на наш канал на YouTube! |
[url=https://a-parser.com/threads/4688/]1.2.270 - новый парсер Rank::Curlie, множество доработок в Node.js функционале
https://files.a-parser.com/img/1.2.270.png Улучшения
|
25-й сборник рецептов
[url=https://a-parser.com/threads/4722/]25-й сборник рецептов
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали! [url=https://a-parser.com/resources/294/]Периодическая проверка обратных ссылок с дозаписью результатов в таблицу Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше. https://files.a-parser.com/img/ta9lr_180808165040.png [url=https://a-parser.com/resources/296/]Парсер поисковой системы Haosou Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше. https://files.a-parser.com/img/r4ztg_180813111825.png [url=https://a-parser.com/resources/295/]Парсер китайского поисковика Shenma Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше. https://files.a-parser.com/img/bcw8p_180813111311.png Еще больше различных рецептов в нашем [url=https://a-parser.com/resources/]Каталоге! Предлагайте ваши идеи для новых парсеров [url=https://a-parser.com/threads/3464/]здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw]наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [url=https://twitter.com/a_parser]Twitter Предыдущие сборники рецептов:
|
Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.(https://a-parser.com/threads/4738/)
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать. В одной из наших статей(https://a-parser.com/resources/261/) мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс. К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться. В этом уроке рассмотрено:
|
1.2.292 - новый парсер Яндекс ИКС, улучшения в работе с кодировками, оптимизации встроенных парсеров(https://a-parser.com/threads/4762/)
https://files.a-parser.com/img/1.2.292.png Улучшения
|
Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart(https://a-parser.com/threads/4783/)
В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали! Полноценный Telegram канал на базе A-Parser(https://a-parser.com/resources/300/) В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше. https://files.a-parser.com/img/2018-09-13_11.28.45.png Работаем с OpenCart. Часть 2. Массовое добавление товаров(https://a-parser.com/resources/302/) Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во второй части будет рассмотрено массовое добавление товара. Подробности, а также пример готового парсера - по ссылке выше. https://files.a-parser.com/img/0iwja_180913140622.png Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь(https://a-parser.com/threads/3464/). Подписывайтесь на там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. Предыдущие сборники статей
|
1.2.319 - новый парсер подсказок Youtube, поддержка модуля MySQL2, множество улучшений и оптимизаций(https://a-parser.com/threads/4832/)
https://files.a-parser.com/img/1.2.319.png Улучшения
|
Видео урок: Полноценный Telegram канал на базе A-Parser
Это видео демонстрирует возможность создания полноценного Telegram канала на базе A-Parser. Парсер периодически и без вмешательства пользователя будет собирать контент и публиковать его на канале. В уроке рассмотрены:
Ссылки на готовые пресеты: https://a-parser.com/resources/38/ https://a-parser.com/resources/298/ https://a-parser.com/resources/299/ Оставляйте комментарии и подписывайтесь на наш канал на YouTube! |
Сборник рецептов #26: мобильные версии сайтов, список регионов Яндекса и упоминания домена в индексе(https://a-parser.com/threads/4899/)
26-й сборник рецептов. В нем будут показаны: проверка наличия мобильной версии сайта через Bing, парсинг полного списка регионов Яндекса и способ поиска упоминаний домена в индексе поисковой системы. Также показан пример работы с Node.js модулем mysql2, который позволяет работать с MySQL базами данных. Поехали! [Проверка наличия мобильной версии через Bing](https://a-parser.com/resources/306/) На сегодняшний день наличие мобильной версии является одним из важнейших критериев качества сайта. По данным различных организаций доля мобильного трафика уже давно превышает десктопный. Именно поэтому мобильная версия сайта позволяет увеличить посещаемость сайта, ведь большинство крупных поисковиков отдают предпочтение в выдаче сайтам, имеющим полноценную мобильную версию. Проверить наличие и соответствие стандартам можно с помощью небольшого пресета по ссылке выше. https://files.a-parser.com/img/4bqcm_181023235947.png Получение полного списка регионов Яндекса(https://a-parser.com/resources/307/) Яндекс не публикует в открытом виде полного списка всех регионов, используемых в поиске. И как оказалось, найти полную и актуальную базу в интернете практически невозможно. Поэтому мы исправляем это и по ссылке выше публикуем JavaScript парсер, который позволяет собрать свежую и максимально полную базу регионов Яндекса. https://files.a-parser.com/img/2of3y_181024152530.png Проверка упоминаний домена в индексе Гугла(https://a-parser.com/resources/305/) Иногда возникает задача по поиску упоминаний домена в индексе поисковой системы. Именно с такой задачей к нам обратился один из пользователей A-Parser. Поэтому по ссылке выше мы публикуем пресет, решающий данную задачу. https://files.a-parser.com/img/gwr92_181018190314.png Кроме этого:
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). |
1.2.335 - новые парсеры картинок, оптимизации в JS парсерах, общие улучшения работы(https://a-parser.com/threads/4919/)https://files.a-parser.com/img/1.2.335.png
Улучшения
|
Видео урок: Массовое добавление товаров в OpenCart, часть 2(https://a-parser.com/threads/4942/)
Это вторая часть из цикла видео уроков о парсинге товаров из стороннего сайта и заливке их на собственный сайт на базе OpenCart через API. В этом уроке показано:
Статья и готовый пресет опубликованы в нашем Каталоге: https://a-parser.com/resources/302/ Оставляйте комментарии и подписывайтесь на наш канал на YouTube! |
|
Сборник рецептов #27: парсинг HH, сбор списка user-agent и парсинг Авито с записью в MySQL(https://a-parser.com/threads/4971/)
27-й сборник рецептов. В нем собраны рецепты для парсинга списка соискателей на hh.ru, сбора списка юзерагентов и парсинга Авито с записью результатов в MySQL базу данных. Также показан пример отправки файлов в POST запросе. Поехали! Сбор списка соискателей на HeadHunter HeadHunter - это один из самых популярных ресурсов для поиска работы. Соответственно, сбор списка соискателей может быть интересен рекрутерам для более эффективного анализа потенциальных кандидатов. Готовое решение для парсинга доступно по ссылке выше. https://files.a-parser.com/img/gxd1b_181106115235.png Получение списка user-agent Сейчас существует много различных браузеров, которые работают на разных платформах. Многие сайты ограничивают работу со старыми браузерами, а некоторые не отдают контент даже при запросе с юзерагентом относительно нового браузера. В A-Parser можно задавать user-agent для запросов, также существует специальный инструмент, который позволяет при каждом запросе выбирать рандомный из заранее подготовленного списка. Пресет для парсинга таких списков, с возможностью фильтрации по различным параметрам, доступен по ссылке выше. https://files.a-parser.com/img/o60s7_181114181054.png Парсер Avito с записью в MySQL Предыдущий пресет для парсинга Авито пользуется большой популярностью. Также наши пользователи часто спрашивают о возможности записи собранных результатов напрямую в базу данных. Поэтому мы подготовили JS парсер, который решает эту задачу. Как обычно, он доступен по ссылке выше. https://files.a-parser.com/img/lvi3y_181127232540.png Кроме этого:
Еще больше различных рецептов в нашем Каталоге(https://a-parser.com/resources/)! Предлагайте ваши идеи для новых парсеров здесь(https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). |
На вашем форуме не могу зарегистрироваться, потому, что требуете наличие лицензии.
|
1.2.360 - поддержка https/tls в Node.js модулях, парсинг мобильной выдачи Яндекса, 2 новых парсера(https://a-parser.com/threads/5028/)
https://files.a-parser.com/img/1.2.360_NY.png уходящем году одним из приоритетных направлений стало развитие JavaScript парсеров и функционала по работе с Node.js. Одним из финальных этапов стал данный релиз, в котором была реализована долгожданная поддержка https/tls в Node.js модулях. Также усилия были сосредоточены на повышении стабильности и производительности. В результате этого было сделано множество наработок, которые уже в первой половине 2019 года планируется выпустить в виде нового A-Parser 2.0, где будет много новых и крутых возможностей. Команда A-Parser поздравляет всех с Новым годом и Рождеством! Мы желаем вам успехов в делах, прибыльных проектов и ярких идей. Пускай Новый 2019 год будет годом новых возможностей, все задуманное сбывается, а работа приносит удовольствие! Спасибо что Вы с нами!!! В новогоднем релизе, кроме снеговика:), было сделано следующее: Улучшения
|
Сборник статей #6: работа с API, сохранение в YML и мануал по подключению Node.js модулей(https://a-parser.com/threads/5055/)
Это 6-й сборник статей, и в нем мы разберемся, как подключать к парсеру Node.js модули, научимся сохранять собранные данные в формате YML, а также изучим работу с API на реальном примере с созданием простого приложения. Поехали! Работаем с API, часть 1 В этой статье на реальном примере будет показана работа с A-Parser через API. В результате будет создано простое приложение, которое будет получать позицию сайта по ключу в Гугл или Яндекс. Все подробности - по ссылке выше. https://files.a-parser.com/img/vnsiw_181209015926.png Выгрузка товаров для Я.Маркета в формате YML YML (Yandex Market Language) - это стандарт представления данных, который используется для загрузки/выгрузки информации о товарах в Яндекс.Маркете. Используя А-Парсер, можно спарсить товары с различных сайтов и сохранить их в данном формате для дальнейшего импорта в Маркет. О том, как это сделать, можно почитать в статье по ссылке выше. https://files.a-parser.com/img/A-Parser__screen.jpg Подключение пакетов Node.js в A-Parser Как известно, в A-Parser можно использовать Node.js модули для более эффективного парсинга. Поэтому, по ссылке выше мы опубликовали небольшой мануал по их установке и использованию. https://files.a-parser.com/img/rlazs_181224010614.png Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь [URL=https://a-parser.com/threads/3464/]здесь[/URL]. Подписывайтесь на наш канал на Youtube(http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). |
Сборник рецептов #28: скидки в Google Play, автоматизация парсинга WordStat и типы Яндекс подсказок(https://a-parser.com/threads/5076/)
28-й сборник рецептов. В нем будет показан способ автоматизации парсинга данных из Wordstat, пример парсинга информации о приложениях со скидками в Google Play, а также готовое решение для сбора подсказок из Яндекс вместе с их типами. Поехали! Парсинг приложений со скидками в Google Play(https://a-parser.com/resources/298/) Периодически в Google Play разработчики предлагают скидки на приложения, иногда на короткий срок платные становятся полностью бесплатными. С помощью A-Parser можно искать подобные предложения. Кроме этого, в этом парсере собирается множество дополнительных данных и используется сохранение в sqlite базу данных, поэтому его можно рассматривать как еще один пример работы с базами данных в А-Парсере. Готовое решение доступно в каталоге по ссылке выше. https://files.a-parser.com/img/3ro38_180913105232.png Парсер поисковых подсказок Яндекс(https://a-parser.com/resources/315/) В A-Parser есть стандартный парсер Яндекс подсказок, который по заданным ключевым словам собирает подсказки. Но Яндекс классифицирует подсказки по различным типам, которые в свою очередь позволяют использовать их более рационально, применяя соответствующие фильтры. Стандартный парсер подсказок не возвращает типы, поэтому по ссылке выше опубликован JS парсер для сбора подсказок вместе с их типами. https://files.a-parser.com/img/190114_120340_00001.png Автоматизация парсинга Wordstat(https://a-parser.com/resources/318/) В этом парсере реализован автоматический сбор данных из WordStat. При этом, парсер проверяет наличие необходимых для данной задачи аккаунтов, и если требуется - то автоматически регистрирует их. Такое решение может быть полезно для организации периодического парсинга WordStat в автоматическом режиме. Готовое решение - по ссылке выше. https://files.a-parser.com/img/xm1w8_190114121648.png Предлагайте ваши идеи для новых парсеров [URL=https://a-parser.com/threads/3464/]здесь[/URL], лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. |
1.2.387 - улучшенный Просмотр логов, новый парсер Яндекс SafeBrowsing, улучшения в JS парсерах
https://files.a-parser.com/img/1.2.387.png Улучшения
Исправления в связи с изменениями в выдаче
|
Сборник рецептов #29: язык ключевых слов, нормализация запросов и сбор тайтлов в глубину(https://a-parser.com/threads/5131/)
29-й сборник рецептов, в котором опубликован JS парсер для определения языка ключевых слов, предложен вариант решения для нормализации запросов, а также показано, как парсить карту сайту и одновременно собирать тайтлы страниц. Поехали! Определение языка ключевого слова через Яндекс Переводчик(https://a-parser.com/resources/141/) В A-Parser есть несколько встроенных парсеров для определения языка страницы. Но иногда возникают задачи отфильтровать список ключевых слов по одному или нескольким языкам. Определять язык текстовой строки довольно неплохо умеют различные переводчики, поэтому для решения задачи был выбран Яндекс Переводчик, и по ссылке выше доступен JavaScript парсер, реализующий определение языка ключевого слова. https://files.a-parser.com/img/fh617_190204133517.png Нормализатор запросов(https://a-parser.com/resources/319/) При сборе семантического ядра часто возникает вопрос - какая форма запроса является наиболее частотной, например: "купить диван" или "диван купить". Если запрос 3-х или 4-хсловный, то вариантов становится еще больше. Решение такой задачи на базе парсера WordStat доступно в нашем Каталоге по ссылке выше. https://files.a-parser.com/img/hf3qn_190204135540.png Карта сайта и заголовки(https://a-parser.com/resources/239/) Сбор карты сайта - это довольно простая задача для А-Парсера, которая решается встроенным парсером ссылок. Но иногда, кроме простого сбора ссылок, нужно еще и собрать тайтлы. И это можно делать параллельно с проходом по ссылкам в глубину. Готовый пресет доступен по ссылке выше. https://files.a-parser.com/img/8z4mj_190204140109.png Еще больше различных рецептов в нашем Каталоге(https://a-parser.com/resources/)! Предлагайте ваши идеи для новых парсеров здесь(https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw)- там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). |
Видео урок: Создание JS парсеров. Использование Node.js модулей
Продолжение цикла уроков по созданию JavaScript парсеров. В этом уроке показано как использовать Node.js модули при написании собственных парсеров. В уроке рассмотрено:
|
Сборник рецептов #30: оценка страниц, форматирование дат и парсинг дропов(https://a-parser.com/threads/5197/)
30-й сборник рецептов, в котором опубликован пресет для оценки сайтов с помощью open source инструмента Lighthouse, рассмотрен способ форматирования дат в парсере SE::Google::Trends SE::Google::Trends, а также показан способ поиска удаленных доменов. Поехали! Оценка страниц с использованием Lighthouse Еще один сервис по оценке сайтов, на этот раз от Google. С его помощью можно оценить веб-страницу по 4-м критериям: Performance, Accessibility, Best Practices и SEO. Пресет доступен в нашем Каталоге по ссылке выше. https://files.a-parser.com/img/gteue_190224203242.png Форматирование даты в парсере SE::Google::Trends В A-Parser есть парсер, который позволяет собирать данные из Google Trends. Но даты в этом парсере возвращаются в формате Unixtime, что немного усложняет анализ получаемых данных. По ссылке выше показан простой способ преобразования дат к более удобному виду. https://files.a-parser.com/img/5wsu8_190224205023.png Парсер expired domains Пресет для поиска и сбора дропов, а также их характеристик с сайта expireddomains.net. В качестве запросов нужно указывать ключевые слова, которые должны быть в доменном имени. https://files.a-parser.com/img/yplsa_190224210745.png Еще больше различных рецептов в нашем Каталоге(https://a-parser.com/resources/)! Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). |
[URL=https://a-parser.com/threads/5230/]1.2.434 - множество улучшений и новых возможностей в парсерах, оптимизация работы, поддержка SOCKS4[/URL]
https://files.a-parser.com/img/1.2.434.png Улучшения
|
Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации()(https://a-parser.com/threads/5259/)
7-й сборник статей. В нем мы научимся сохранять результаты в виде Excel файлов, продолжим изучение работы через API, а также ознакомимся с 5-ю способами автоматизации последовательного выполнения нескольких заданий. Поехали! Сохранение результатов в формате Excel (.xlsx)(https://a-parser.com/resources/325/) Вывод результатов в виде xlsx файлов (стандартный формат Excel) - это очень популярный вопрос среди пользователей A-Parser. Ранее такой возможности не было, но с добавлением поддержки Node.js модулей это стало возможным. Поэтому мы публикуем статью, в которой показан реальный пример парсинга с сохранением в Excel. Ознакомиться со всеми подробностями можно по ссылке выше. https://files.a-parser.com/img/nm16w_190317135228.png Работаем с API, часть 2(https://a-parser.com/resources/327/) Это вторая часть из цикла статей по работе с A-Parser через API. В ней на примере парсинга e-mail будет рассмотрен метод addTask. Все детали - по ссылке выше. https://files.a-parser.com/img/m1jau_190317211446.png Обзор вариантов последовательного выполнения нескольких заданий(https://a-parser.com/resources/326/) Очень часто возникают задачи, решение которых требует использования возможностей сразу нескольких разных парсеров и при этом результаты работы одного нужно передавать в следующий. А-Парсер - это очень гибкий инструмент, поэтому существует сразу несколько способов, как автоматизировать последовательное выполнение нескольких заданий, при этом максимально автоматизируя работу и повышая производительность. Описание всех возможных методов читайте в обзоре по ссылке выше. Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь(https://a-parser.com/threads/3464/). Подписывайтесь на наш канал на Youtube(http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). |
Видео урок: Работа с API, часть 2
Вторая часть из цикла уроков о работе с API A-Parser. В видео на реальных примерах показана работа с методами addTask, getTaskState, getTaskConf и getTaskResultsFile.
В этом уроке рассмотрены:
Также рекомендуем статью с несколькими интересными кейсами использования A-Parser от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова: https://vc.ru/seo/61162-pravilno-sobrat-semanticheskoe-yadro-dlya-prodvizheniya-sayta Оставляйте комментарии и подписывайтесь на наш канал на YouTube(https://www.youtube.com/c/AParser_channel)! |
1.2.455 - поддержка puppeteer, все методы в Net::HTTP, обновление Bypass Cloudflare(https://a-parser.com/threads/5295/)
https://files.a-parser.com/img/ap+puppeteer.png Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.
Исправления в связи с изменениями в выдаче
Исправления
|
Сборник рецептов #31: скидка -50% на XEvil, скриншоты страниц, подсказки Я.Маркета и правописание(https://a-parser.com/threads/5314/)
31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку. Скидка -50% на покупку XEvil для существующих и новых пользователей A-Parser Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%! XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости. Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой! Для получения промокода на покупку XEvil пишите в тикеты. http://files.a-parser.com/img/ap+xevil-50.png JS::Chrome::ScreenshotsMaker Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше. https://files.a-parser.com/img/scree...8_12.42.06.png Парсер подсказок Яндекс.Маркет Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше. https://files.a-parser.com/img/8kskt_190418110350.png Проверка правописания в Google Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше. https://files.a-parser.com/img/aaih3_190418111655.png |
Видео урок: Работа с MySQL
Видеоурок по работе с MySQL в A-Parser. В нем на реальном примере показано как работать с базами данных MySQL, используя Node.js модуль mysql2. В этом уроке рассмотрены:
Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel) |
Сборник рецептов #32: Yahoo Answers, контакты фрилансеров и оценка ключевых слов(https://a-parser.com/threads/5351/)
32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров. Парсер Yahoo Answers Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений. https://files.a-parser.com/img/5xq9g_190506181553.png Парсинг контактов фрилансеров Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru. https://files.a-parser.com/img/f261w_190508215538.png Анализ ключевых слов Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями. https://files.a-parser.com/img/3znul_190508144508.png Еще больше различных рецептов в нашем Каталоге! |
1.2.484 - 4 новых парсера, улучшение работы и исправление существующих(https://a-parser.com/threads/5367/)
https://files.a-parser.com/img/1.2.484.png Улучшения
Исправления в связи с изменениями в выдаче
Исправления
|
Видео урок: Получение уведомлений в Telegram об окончании срока регистрации доменов
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней. В уроке рассмотрено:
https://files.a-parser.com/img/btn_AP_TG.png https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
[URL=https://a-parser.com/threads/5395/]1.2.503 - обновление JavaScript движка и множество улучшений[/URL]
https://files.a-parser.com/img/1.2.503.png Улучшения
Исправления в связи с изменениями в выдаче
|
Сборник рецептов #33: парсинг Google карт, сбор вопросов из поиска, перевод текстов целиком(https://a-parser.com/threads/5423/)
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали! Сбор всех организаций в определенной местности Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше. https://files.a-parser.com/img/b8o1c_190619122130.png Парсер собирающий вопросы и ответы из выдачи Google Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше. https://files.a-parser.com/img/o5ugn_190620111544.png Использование файлов целиком в качестве запросов\ Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл. https://files.a-parser.com/img/9wqxu_190619152424.png Еще больше различных рецептов в нашем Каталоге(https://a-parser.com/resources/)! https://files.a-parser.com/img/button_a-parser_350.png https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
Видео урок: Макросы подстановок(https://a-parser.com/threads/5453/)
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое. В уроке рассмотрено:
Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel) https://files.a-parser.com/img/button_a-parser_400.png https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
1.2.534 - 6 новых парсеров, поддержка Node.js в tools.js, множество исправлений в парсерах(https://a-parser.com/threads/5466/)
https://files.a-parser.com/img/1.2.534.png Улучшения
|
| Часовой пояс GMT +3, время: 19:10. |
Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot