|
|
Опции темы | Рейтинг: | Опции просмотра |
02.02.2018, 12:30 | #31 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
[URL="https://a-parser.com/threads/4208/"]Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера[/URL]
Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере. В уроке рассмотрено:
Оставляйте комментарии и [URL="https://www.youtube.com/c/AParser_channel"]подписывайтесь на наш канал на YouTube![/URL] |
13.02.2018, 11:32 | #32 | |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах
[url=https://a-parser.com/threads/4243/]Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах[/url]
Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере. [url=https:// В уроке рассмотрено:
Оставляйте комментарии и [url=https://www.youtube.com/c/AParser_channel]подписывайтесь на наш канал на YouTube![/url] |
|
23.02.2018, 13:47 | #33 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress
В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...). Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter. Улучшения
|
05.03.2018, 13:36 | #34 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
Использование Xevil совместно A-Parser для разгадывания ReCaptcha2
Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных. В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения. Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser. На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:
В видео показано:
Ознакомиться более детально с возможностями XEvil можно по ссылкам:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube! |
15.03.2018, 10:53 | #35 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb
21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали! Уведомления в Telegram из A-Parser Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше. Фильтрация по множеству признаков Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра. Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше. Парсинг рекомендаций фильмов из IMDb Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше. Еще больше различных рецептов в нашем обновленном [URL=https://a-parser.com/resources/]Каталоге[/URL]! Предлагайте ваши идеи для новых парсеров здесь(https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter
Сборники статей:
|
26.03.2018, 13:24 | #36 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo
Улучшения
|
05.04.2018, 11:29 | #37 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
Видео урок: Создание JS парсеров. Работа с CAPTCHA
Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах. В уроке рассмотрено:
Статья и готовый парсер: https://a-parser.com/resources/257/ Оставляйте комментарии и подписывайтесь на наш канал на YouTube! |
16.04.2018, 13:04 | #38 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг
22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!
Получение страниц сайта и проверка индексации в Google и Яндекс[url=https://a-parser.com/resources/250/] Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше. Парсим title и description для TOP10 поисковой выдачи по ключевому слову[url=https://a-parser.com/resources/263/] Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше. Поиск сабдоменов сайта[url=https://a-parser.com/resources/235/] Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше. Кроме этого:
Предлагайте ваши идеи для новых парсеров здесь[url=https://a-parser.com/threads/3464/], лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube[url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter[url=https://twitter.com/a_parser]. Предыдущие сборники рецептов:
|
26.04.2018, 12:13 | #39 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
Сборник статей #3: пагинация, переменные и БД SQLite(https://a-parser.com/threads/4442/)
В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали! Обзор вариантов прохода по пагинации(https://a-parser.com/resources/277/) В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше. Переменные в парсерах JavaScript(https://a-parser.com/resources/278/) JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше. Разработка JS парсера с сохранением результата в SQLite(https://a-parser.com/resources/276/) Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite. В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше. Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь(https://a-parser.com/threads/3464/). Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). Предыдущие сборники статей
|
07.05.2018, 13:24 | #40 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 215
Вы сказали Спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 10
|
1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений [url=https://a-parser.com/threads/4471/]
Улучшения [*] SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] - многократно увеличена скорость парсинга [*]Множество улучшений в Net:: DNS [url=https://a-parser.com/wiki/net-dns/]: - Возможность указать несколько DNS и задать метод выбора - Бан нерабочих/плохих DNS по специальному эвристическому алгоритму - Возможность вывести в результат использованный DNS сервер при удачном запросе [*]В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] добавлена опция Use sessions [*]В SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] добавлена настройка пресета антигейта для логина [*]Также в SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] удалены настройки Use logins/Use sessions, теперь они включены всегда [*]Добавлена возможность автоматического удаления задания из Завершенных [*]В макросе подстановок {num} добавлена поддержка обратного отсчета [*]В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии [*]В JavaScript парсерах добавлена возможность прямого сохранения в файл [*]В API методе oneRequest/bulkRequest добавлена возможность указать configPreset [*]В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog Исправления в связи с изменениями в выдаче [*]Исправлен парсинг сниппетов в SE::Yandex [url=https://a-parser.com/wiki/se-yandex/] [*]В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях [*]Исправлен парсинг цен в GooglePlay::Apps [url=https://a-parser.com/wiki/googleplay-apps/] [*]Исправлена работа функции Remove bad accounts в парсерах Wordstat [*]Rank::MegaIndex [url=https://a-parser.com/wiki/rank-megaindex/], Rank:: openSiteExplorer [url=https://a-parser.com/wiki/rank-opensiteexplorer/], Rank:: openSiteExplorer::Extended [url=https://a-parser.com/wiki/rank-opensiteexplorer-extended/], SE:: DuckDuckGo [url=https://a-parser.com/wiki/se-duckduckgo/], SE::IxQuick [url=https://a-parser.com/wiki/se-ixquick/] Исправления [*]Количество неудачных больше не обнуляется при постановке на паузу [*]Исправлена проблема с подключением Node.js модулей на Linux [*]Исправлено падение парсера в редких ситуациях при использовании JS парсеров [*]Решена проблема с подключением Node.js модулей lodash, sequelize [*]Исправлена ошибка итератора при равных границах в макросе {num} |