Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.

Поисковые системы Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.


Вернуться   Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете. > Seo форум поисковых оптимизаторов > Поисковые системы
Регистрация Справка Пользователи Календарь Все разделы прочитаны

Ответ
 
Опции темы Рейтинг: Рейтинг темы: голосов - 2, средняя оценка - 5.00. Опции просмотра
Старый 11.11.2019, 14:02   #91
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

1.2.678 - оптимизация работы с прокси, улучшения во встроенных парсерах, исправления ошибок



Улучшения
  • В SE::Google::ByImage добавлена поддержка рекаптч, а также улучшена работа в целом
  • В SE::Yandex добавлена возможность одновременной работы авторазгадывания каптч и антигейта
  • В Rank::Ahrefs добавлена возможность выбора типа домена
  • Полностью переписан SE::Yandex::SQI, изменен набор собираемых данных
  • Реализован бан прокси в SE:uckDuckGo::Images
  • В Net::Whois добавлен парсинг даты освобождения домена
  • Оптимизирована работа с прокси при использовании большого числа попыток
  • Улучшена работа функции Bypass Cloudflare
  • Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser
Исправления в связи с изменениями в выдаче
  • В мобильной верстке SE::Google::Modern исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
  • В SE::Yandex исправлено определение каптчи, а также исправлен сбор ссылок на кеш
  • Исправлен парсинг цен и количества комментариев в Shop::Amazon
  • Исправлена работа SE:uckDuckGo::Images с запросами, содержащими более 1 слова
  • GooglePlay::Apps, SE::Youtube, Rank::Ahrefs
Исправления
  • Исправлена проблема с рандомизацией прокси на Windows 10
  • Исправлено зависание при использовании Check::BackLink
  • Исправлена проблема, при которой не применялся Content-Type в Net::HTTP
  • Исправлена редкая проблема с выбором файла запросов
  • Исправлена обработка редиректов при нестандартном порте
  • Исправлен вывод многострочных данных в tools.CSVline
  • JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
  • JS парсеры: исправлена проблема с подключением модуля jimp


telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
A-Parser Support вне форума   Ответить с цитированием
Старый 21.11.2019, 20:02   #92
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Видео урок: Парсинг сайта в глубину на основе парсера HTML::LinkExtractor


В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.



В уроке рассмотрено:
  • Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
  • Получение title (с очисткой от HTML сущностей)
  • Получение таких параметров как:
    • кол-во предыдущих редиректов
    • код ответа сервера
    • кол-во внешних ссылок
Полезные ссылки:
  • https://a-parser.com/resources/357/ - готовый пресет в Каталоге
  • https://a-parser.com/resources/356/ - подробное описание по созданию настроек для парсинга в глубину сайта
  • https://a-parser.com/wiki/advanced-options/#parse-all-results- документация по функции "Парсить до уровня"

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
https://www.youtube.com/c/AParser_channel



telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
A-Parser Support вне форума   Ответить с цитированием
Старый 04.12.2019, 17:52   #93
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:



А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.


Парсер Github
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.


Парсинг количества трафика на сайтах
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.


Кроме этого были обновлены:
  • https://a-parser.com/resources/47 Парсинг базы телефонов из olx.ua
  • https://a-parser.com/resources/21 Парсинг Авито
  • https://a-parser.com/resources/334 Парсинг телефонов и email фрилансеров fl.ru
  • https://a-parser.com/resources/286 Проверка блокировки РосКомНадзора через GitHub
  • https://a-parser.com/resources/144 JS::MailValidator

Еще больше различных рецептов в нашем https://a-parser.com/resources Каталоге
Предлагайте ваши идеи для новых парсеров https://a-parser.com/threads/3464 здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в https://twitter.com/a_parser Twitter.

Все сборники рецептов



https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
A-Parser Support вне форума   Ответить с цитированием
Старый 12.12.2019, 16:48   #94
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты



Улучшения
  • Добавлен новый парсер Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
  • Добавлен новый парсер Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
  • Изменения в парсерах Google:
    • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
    • В связи с неактуальностью удалены опции:
      • Old desktop computer (IE6) в Device
      • Util::AntiGate preset
      • Use digit captcha
  • В SE::Yandex увеличено максимальное значение Pages count до 25
  • В SE::Google::Images добавлена поддержка новой верстки
  • В Util::ReCaptcha2 добавлена поддержка capmonster.cloud
  • Парсер SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
  • Парсер SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
  • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
  • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
Исправления в связи с изменениями в выдаче
  • Множество исправлений в SE::Google, он теперь полностью дублирует SE::Google::Modern
  • Исправлен парсинг $indexed в Rank::MajesticSEO
  • В Net::Whois исправлена работа с доменной зоной .sex
  • Исправлен парсинг $title в Shop::Yandex::Market
  • Shop::Amazon, SE::Dogpile, Rank::Ahrefs, SE::Bing, Rank::SEMrush, SE::DuckDuckGo, SE::DuckDuckGo::Images, SE::Baidu
Исправления
  • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
  • Исправлены проблемы с рандомизацией в некоторых случаях
  • Исправлена ошибка в Social::Instagram::post при парсинге только массивов данных
  • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
  • JS парсеры: исправлена работа с Node.js модулем socks


telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
A-Parser Support вне форума   Ответить с цитированием
Старый 23.12.2019, 19:02   #95
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Парсер постов из Twitter
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.


JS::ImagesFromSE
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.


Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:
  • Парсинг пользователей публичных групп в Telegram
  • Парсинг всех сообщений из публичных групп в Telegram

Еще больше различных рецептов в нашем Каталоге
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser Support вне форума   Ответить с цитированием
Старый 03.01.2020, 15:58   #96
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.


Сбор характеристик товара
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.


Всё о редиректах
Большая справочная статья, посвященная тематике редиректов.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
  • Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
  • Сборник статей #2: цикл статей-уроков по созданию JS парсеров
  • Сборник статей #3: пагинация, переменные и БД SQLite
  • Сборник статей #4: добавление товаров в OpenCart и парсинг JSON
  • Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
  • Сборник статей #6: работа с API, сохранение в YML и мануал по подключению Node.js модулей
  • Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
  • Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API
  • Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

A-Parser Support вне форума   Ответить с цитированием
Старый 16.01.2020, 20:38   #97
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



В уроке рассмотрено:
  • Парсинг поисковой выдачи Google
  • Вывод уникальных результатов в качестве главных доменов
  • Получение таких параметров как:
    • зарегистрирован домен или нет
    • дата регистрации и дата окончания регистрации домена
    • язык сайта
    • title и description
    • индекс качества сайта
    • позицию в глобальном рейтинге Alexa
    • cтрану с наибольшим числом трафика по Alexa
    • позицию в рейтинге этой страны по Alexa
Полезные ссылки:
  • https://a-parser.com/wiki/net-whois/ - парсер Net::Whois
  • https://a-parser.com/wiki/html-textextractor-langdetect/ - парсер HTML::TextExtractor::LangDetect
  • https://a-parser.com/wiki/se-yandex-sqi/ - парсер SE::Yandex::SQI
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser Support вне форума   Ответить с цитированием
Старый 27.01.2020, 14:28   #98
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности



Улучшения
  • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: [URL]https://a-parser.com/threads/5807/[/URL]
  • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
  • Улучшена производительность SE::Yandex
  • В Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
  • В SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
  • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%
Исправления в связи с изменениями в выдаче
  • Исправлена работа с каптчами в Maps::Yandex
  • Исправлен парсинг рекламы в SE::Google
  • SE::Yandex, Rank::Ahrefs, SE::Dogpile, SE::Dogpile::Images, SE::DuckDuckGo::Images, Rank::MajesticSEO, Rank::SerpStat::Keyword, Rank::Bukvarix::Domain
Исправления
  • Исправлена работа Bypass Cloudflare в некоторых случаях
  • Исправлена работа при малом числе прокси
  • Исправлена проблема при редактировании дополнительных форматов результатов

A-Parser Support вне форума   Ответить с цитированием
Старый 06.02.2020, 15:45   #99
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью
Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.


Парсинг сайтов из Яндекс.Радар
Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.


Определение типа сайта по Яндекс Радару
И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser Support вне форума   Ответить с цитированием
Старый 19.02.2020, 10:37   #100
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 107
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому
В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.


Инструкция по использованию Google Indexing API
В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.


Поиск и сбор rss лент
В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

A-Parser Support вне форума   Ответить с цитированием
Ответ

Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Часовой пояс GMT +3, время: 14:10.


Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd. Перевод: zCarot
Seo форум про методы раскрутки сайтов. Раскрутка сайта. Заработок на сайтах.
Вы оценили эту тему: