Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.

Поисковые системы Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.


Вернуться   Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете. > Seo форум поисковых оптимизаторов > Поисковые системы
Регистрация Справка Пользователи Календарь Все разделы прочитаны

Ответ
 
Опции темы Рейтинг: Рейтинг темы: голосов - 7, средняя оценка - 2.71. Опции просмотра
Старый 17.05.2018, 11:12   #41
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Видео урок: Создание JS парсеров. Работа с ReCaptcha2(https://a-parser.com/threads/4493/)

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.



В уроке рассмотрено:
  • Описание и настройка парсера Util::ReCaptcha2
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:
  • Тестирование работы ReCaptcha2: http://http.myjino.ru/recaptcha/test-get.php[/url]
  • Статья и готовый парсер:https://a-parser.com/resources/259/[/url]

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel)
A-Parser Support вне форума   Ответить с цитированием
Старый 28.05.2018, 13:14   #42
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат [url=https://a-parser.com/threads/4517/]

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google [url=https://a-parser.com/resources/285/]

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.


Выгрузка товаров в формате YML[url=https://a-parser.com/resources/284/]

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.


Парсим Google новости с датой и преобразуем ее[url=https://a-parser.com/resources/281/]

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.


Кроме этого:
  • Сохранение произвольных данных в сессиях - новый функционал по работе с сессиями [url=https://a-parser.com/resources/280/]
  • Сохранение больших файлов напрямую на диск - возможность сохранять файлы в JS парсерах напрямую, минуя шаблонизатор [url=https://a-parser.com/resources/279/]
Еще больше различных рецептов в нашем Каталоге! [url=https://a-parser.com/resources/]

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. [url=https://a-parser.com/threads/3464/]

Подписывайтесь на Наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser].

Предыдущие сборники рецептов:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте [url=http://a-parser.com/threads/1250/]
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов [url=http://a-parser.com/threads/1328/]
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов [url=http://a-parser.com/threads/1660/]
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы [url=http://a-parser.com/threads/1674/]
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта [url=http://a-parser.com/threads/1705/]
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво [url=http://a-parser.com/threads/1737/]
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам [url=http://a-parser.com/threads/1778/]
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube [url=http://a-parser.com/threads/1809/]
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность [url=http://a-parser.com/threads/1830/]
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий [url=http://a-parser.com/threads/1881/]
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! [url=http://a-parser.com/threads/1938/]
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок [url=http://a-parser.com/threads/2240/]
  • Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query [url=http://a-parser.com/threads/2460/]
  • Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты [url=http://a-parser.com/threads/2613/]
  • Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu [url=http://a-parser.com/threads/2712/]
  • Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей [url=https://a-parser.com/threads/2808/]
  • Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК [url=https://a-parser.com/threads/3544/]
  • Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов [url=https://a-parser.com/threads/3862/]
  • Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress [url=https://a-parser.com/threads/3910/]
  • Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов [url=https://a-parser.com/threads/4074/]
  • Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb [url=https://a-parser.com/threads/4318/]
  • Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов [url=https://a-parser.com/threads/4405/]
A-Parser Support вне форума   Ответить с цитированием
Старый 11.06.2018, 11:33   #43
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

1.2.216 - улучшения в SE::Google::Modern и JS парсерах, а также множество других[https://a-parser.com/threads/4563/]



Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
  • Добавлен бан прокси при получении 403 кода ответа в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в Util::ReCaptcha2 [https://a-parser.com/wiki/util-recaptcha2/]
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в мобильной версии SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
  • Исправлен парсинг количества результатов в SE::Baidu [https://a-parser.com/wiki/se-baidu/]
  • Rank::MajesticSEO [https://a-parser.com/wiki/rank-majesticseo/], SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/], SE::Google::Trends [https://a-parser.com/wiki/se-google-trends/]
Исправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
  • Исправлена работа с url, содержащими фрагмент # в Net::HTTP [https://a-parser.com/wiki/net-http/]
  • Исправлен парсинг ссылок в HTML::LinkExtractor [https://a-parser.com/wiki/html-linkextractor/]
  • Исправлена работа опции Pages count в SE::Yandex [https://a-parser.com/wiki/se-yandex/]
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в SE::Google::Suggest [https://a-parser.com/wiki/se-google-suggest/]
  • Исправлена ситуация, когда не читались настройки из config.txt
A-Parser Support вне форума   Ответить с цитированием
Старый 21.06.2018, 11:29   #44
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию Сборник рецептов #24

Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite [url=https://a-parser.com/threads/4591/]

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

Получаем уведомления в Telegram об окончании срока регистрации доменов [url=https://a-parser.com/resources/287/]

Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.


Проверка блокировки РосКомНадзора через GitHub [url=https://a-parser.com/resources/286/]

В А-Парсере есть стандартный парсер Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше.


Простой парсер обменника с записью в БД SQLite [url=https://a-parser.com/resources/275/]

Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.


Еще больше различных рецептов в нашем Каталоге [url=https://a-parser.com/resources/]!

Предлагайте ваши идеи для новых парсеров здесь [url=https://a-parser.com/threads/3464/], лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser].

Предыдущие сборники рецептов:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте [url=http://a-parser.com/threads/1250/]
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов [url=http://a-parser.com/threads/1328/]
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов [url=http://a-parser.com/threads/1660/]
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы [url=http://a-parser.com/threads/1674/]
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта [url=http://a-parser.com/threads/1705/]
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво [url=http://a-parser.com/threads/1737/]
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам [url=http://a-parser.com/threads/1778/]
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube [url=http://a-parser.com/threads/1809/]
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность [url=http://a-parser.com/threads/1830/]
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий [url=http://a-parser.com/threads/1881/]
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! [url=http://a-parser.com/threads/1938/]
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок [url=http://a-parser.com/threads/2240/]
  • Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query [url=http://a-parser.com/threads/2460/]
  • Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты [url=http://a-parser.com/threads/2613/]
  • Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu [url=http://a-parser.com/threads/2712/]
  • Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей [url=https://a-parser.com/threads/2808/]
  • Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК [url=https://a-parser.com/threads/3544/]
  • Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов [url=https://a-parser.com/threads/3862/]
  • Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress [url=https://a-parser.com/threads/3910/]
  • Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов [url=https://a-parser.com/threads/4074/]
  • Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb [url=https://a-parser.com/threads/4318/]
  • Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов [url=https://a-parser.com/threads/4405/]
  • Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат [url=https://a-parser.com/threads/4517/]
A-Parser Support вне форума   Ответить с цитированием
Старый 02.07.2018, 12:12   #45
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию 1.2.246 - обновление базы Rank::CMS и новые функции

1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO[url=https://a-parser.com/threads/4614/]


Улучшения
  • В Rank::CMS[url=https://a-parser.com/wiki/rank-cms/] обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
  • SE::Baidu[url=https://a-parser.com/wiki/se-baidu/] полностью переписан:
    • добавлен парсинг related keywords
    • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
    • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
    • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
  • Изменения в Rank::MajesticSEO[url=https://a-parser.com/wiki/rank-majesticseo/]:
    • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
    • Убран параметр Extract domain
    • Исправлена работа в некоторых случаях
  • Улучшена отзывчивость в редакторе JavaScript парсеров
  • Улучшена работа HTML::EmailExtractor[url=https://a-parser.com/wiki/html-emailextractor/], устранены зависания, которые возникали на определенных страницах
  • Обновлен список регионов в парсерах Яндекс
  • Пустой результат в SE::Google::Trends[url=https://a-parser.com/wiki/se-google-trends/] больше не считается неудачным запросом
  • Улучшена работа с сессиями в SE::Yandex::WordStat[url=https://a-parser.com/wiki/se-yandex-wordstat/]
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в SE::Yandex[url=https://a-parser.com/wiki/se-yandex/]
  • Исправлена работа, а также улучшен алгоритм парсинга в SE:: DuckDuckGo[url=https://a-parser.com/wiki/se-duckduckgo/]
  • Исправлено указание региона в парсерах Яндекс
  • Исправлен парсинг $ads.$i.visiblelink в SE::Google::Modern[url=https://a-parser.com/wiki/se-google-modern/]
  • Исправлен парсинг $totalcount в SE::Yandex:: Direct[url=https://a-parser.com/wiki/se-yandex-direct/]
Исправления
  • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
  • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
  • Исправлено отображение кириллицы в $headers в Net::HTTP[url=https://a-parser.com/wiki/net-http/]
  • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
  • Устранена проблема с кодировкой при работе с SQLite
  • Исправлена ошибка со сменой прокси в JavaScript парсерах
A-Parser Support вне форума   Ответить с цитированием
Старый 12.07.2018, 11:39   #46
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сборник статей #4: добавление товаров в OpenCart и парсинг JSON(https://a-parser.com/threads/4647/)

В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Работаем с OpenCart. Часть 1. Вступление.(https://a-parser.com/resources/291/)

Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.



Парсинг JSON ответов и работа с их содержимым(https://a-parser.com/resources/289/)

JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь(https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube(http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(http://www.youtube.com/c/AParser_channel).

Предыдущие сборники статей
  • Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы(https://a-parser.com/threads/4009/)
  • Сборник статей #2: цикл статей-уроков по созданию JS парсеров(https://a-parser.com/threads/4142/)
  • Сборник статей #3: пагинация, переменные и БД SQLite(https://a-parser.com/threads/4442/)
A-Parser Support вне форума   Ответить с цитированием
Старый 23.07.2018, 11:29   #47
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Видео урок: Создание JS парсеров. Работа с SQLite

Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.



В этом уроке рассмотрены:
- Знакомство с языком запросов SQL
- Создание простейшей базы данных SQLite при работе с JS-парсером
- Получение и запись данных в базу SQLite при работе с JS-парсером

Ссылки:
- http://www.sql-tutorial.ru/ru/content.html - учебник по SQL
- http://samoychiteli.ru/document29118.html - тоже учебник по SQL
- https://finance.i.ua/converter/ - сайт, который использовался в качестве примера
- https://a-parser.com/resources/276/ - статья и готовый парсер

Оставляйте комментарии и [https://www.youtube.com/c/AParser_channel] подписывайтесь на наш канал на YouTube!
A-Parser Support вне форума   Ответить с цитированием
Старый 02.08.2018, 10:50   #48
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

[url=https://a-parser.com/threads/4688/]1.2.270 - новый парсер Rank::Curlie, множество доработок в Node.js функционале



Улучшения
  • Добавлен новый парсер [url=https://a-parser.com/wiki/rank-curlie/]Rank::Curlie
  • В [url=https://a-parser.com/wiki/html-linkextractor/]HTML::LinkExtractor улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
  • Оптимизирована работа [url=https://a-parser.com/wiki/se-yandex-wordstat/]SE::Yandex::WordStat
  • Улучшена работа с сессиями в [url=https://a-parser.com/wiki/se-yandex/]SE::Yandex
  • Улучшена обработка некорректных ответов в [url=https://a-parser.com/wiki/se-yandex/]SE::Yandex [url=https://a-parser.com/wiki/se-google-suggest/]SE::Google::Suggest
Исправления в связи с изменениями в выдаче
  • Исправлены [url=https://a-parser.com/wiki/se-bing/]SE::Bing, [url=https://a-parser.com/wiki/se-duckduckgo/]SE:uckDuckGo и [url=https://a-parser.com/wiki/rank-majesticseo/]Rank::MajesticSEO
Исправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В [url=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern и [url=https://a-parser.com/wiki/se-bing/]SE::Bing $totalcount при 0 результатов теперь возвращает 0
  • Исправлено логгирование в режиме foreground
A-Parser Support вне форума   Ответить с цитированием
Старый 13.08.2018, 12:03   #49
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию 25-й сборник рецептов

[url=https://a-parser.com/threads/4722/]25-й сборник рецептов
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

[url=https://a-parser.com/resources/294/]Периодическая проверка обратных ссылок с дозаписью результатов в таблицу
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.


[url=https://a-parser.com/resources/296/]Парсер поисковой системы Haosou
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.


[url=https://a-parser.com/resources/295/]Парсер китайского поисковика Shenma
Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.


Еще больше различных рецептов в нашем [url=https://a-parser.com/resources/]Каталоге!
Предлагайте ваши идеи для новых парсеров [url=https://a-parser.com/threads/3464/]здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw]наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [url=https://twitter.com/a_parser]Twitter

Предыдущие сборники рецептов:
  • [url=http://a-parser.com/threads/1250/]Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • [url=http://a-parser.com/threads/1328/]Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • [url=http://a-parser.com/threads/1660/]Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • [url=http://a-parser.com/threads/1674/]Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • [url=http://a-parser.com/threads/1705/]Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • [url=http://a-parser.com/threads/1737/]Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • [url=http://a-parser.com/threads/1778/]Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • [url=http://a-parser.com/threads/1809/]Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • [url=http://a-parser.com/threads/1830/]Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • [url=http://a-parser.com/threads/1881/]Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • [url=http://a-parser.com/threads/1938/]Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
  • [url=http://a-parser.com/threads/2240/]Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
  • [url=http://a-parser.com/threads/2460/]Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
  • [url=http://a-parser.com/threads/2613/]Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
  • [url=http://a-parser.com/threads/2712/]Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
  • [url=https://a-parser.com/threads/2808/]Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
  • [url=https://a-parser.com/threads/3544/]Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
  • [url=https://a-parser.com/threads/3862/]Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов
  • [url=https://a-parser.com/threads/3910/]Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress
  • [url=https://a-parser.com/threads/4074/]Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов
  • [url=https://a-parser.com/threads/4318/]Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb
  • [url=https://a-parser.com/threads/4405/]Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов
  • [url=https://a-parser.com/threads/4517/]Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат
  • [url=https://a-parser.com/threads/4591/]Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite
A-Parser Support вне форума   Ответить с цитированием
Старый 23.08.2018, 12:58   #50
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.(https://a-parser.com/threads/4738/)
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.

В одной из наших статей(https://a-parser.com/resources/261/) мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

В этом уроке рассмотрено:
  • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
  • Подстановка запросов в задание "на лету"
  • Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:
  • Документация по JS парсерам(https://a-parser.com/wiki/js-parsers/)
  • Описание метода для подстановки запросов(https://a-parser.com/wiki/template-tools/#tools-query-%D0%B4%D0%BE%D0%B1%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D 0%B8%D0%B5-%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2)
  • Статья и готовый парсер(https://a-parser.com/resources/264/)
Оставляйте комментарии и подписывайтесь на наш канал на YouTube(https://www.youtube.com/c/AParser_channel)!
A-Parser Support вне форума   Ответить с цитированием
Ответ

Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Часовой пояс GMT +3, время: 21:05.


Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot
Seo форум про методы раскрутки сайтов. Раскрутка сайта. Заработок на сайтах.
Вы оценили эту тему: