Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.(https://a-parser.com/threads/4738/)
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.
В одной из наших статей(https://a-parser.com/resources/261/) мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.
В этом уроке рассмотрено:- Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
- Подстановка запросов в задание "на лету"
- Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:- Документация по JS парсерам(https://a-parser.com/wiki/js-parsers/)
- Описание метода для подстановки запросов(https://a-parser.com/wiki/template-tools/#tools-query-%D0%B4%D0%BE%D0%B1%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D 0%B8%D0%B5-%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2)
- Статья и готовый парсер(https://a-parser.com/resources/264/)
Оставляйте комментарии и подписывайтесь на наш канал на YouTube(https://www.youtube.com/c/AParser_channel)!