FeedMaster- сплоги на wordpress

[Seo-man]

Manual к плагину- парсеру для платформы WORDPRESS 2.5.1 и выше - Feedmaster версия 1.5.х
Вложенеи пришлось удалить
Скачать Feedmaster версия 1.5.х

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 5 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащейся здесь.

Оглавление
Особенности версии 1.5.x 1
Описание фирменной технологии уникализации контента наречиями без существенного ухудшения читабельности текста. 2
Для чего нужен плагин/парсер? 4
Системные требования 5
Преимущества и возможности плагина (без особенностей последней версии) 5
В версии 1.4 добавлено 6
В версии 1.3 добавлено 6
Установка и настройка плагина 7
Главное меню Control Panel 7
Настройка лент 8
Меню замены 11
Сортировка по категориям в зависимости от наличия ключевиков 11
Синонимизация 12
Опции 13
Меню Delete post 16
Как работает скрипт? 16
Полезно знать: 16
Иногда парсер не парсит ленту – в чем причина? Как будто он зависает. 16
Как настроить автообновление? 16
У меня выдает ошибку 17
Как составить сигнатуру для источника информации? 17
Загрузка базы синонимов 17
Оптимизация запуска скрипта. Управление нагрузкой. Настройка cron. 17

Особенности версии 1.5.x

1. разработали и внедрили систему «портатор» которая позволяет парсить контент без использования сигнатур!
2. возможность парсить ленты которые работают через фидбурнер редирект
3. многоязычность интерфейса
4. добавление публикаций в блог через xml-rpc (стандарт Metablogger)! Теперь все другие плагины и системы блога полноценно отробатывают. В их числе системы кроспостинга в ЖЖ и т.п. а также пинг!
5. новый тэг title позволяет парсить любой участок контента и устанавливать его как заголовок
6. принудительная установка кодировки контента
7. возможность вводить логин и пароль для использования платных прокси
8. исправлена проблема двойных тайтлов и альтов для картинок
9. CSV формат базы данных синонимов который позволяет импортировать словосочетания
10. принудительная установка кодировки контента для статического парсера
11. заменять некоторые символу русского языка на латинские, которые внешне совпадают. а, с, o
12. экспорт/импорт всех настроек в файл
13. исправлена проблема в сортировщике по категориям в зависимости от наличия ключевых слов
14. исправлена и доработана система "Highlight keywords?" позволяющая «подсвечивать» нужные ключевые слова жирным либо италиком.
15. замена словосочетаний (если таковые есть в базе синонимов)
16. «умная» вставка тэга more. Не в разрыв тегов типа b и i.
17. вернули параметр Max post on day: и сделали выбор между текущим ограничителем и Max post on day:. Теперь можно устанавливать ограничение на парсинг как определенного количества публикаций в день так и в запуск.
18. возможность синонимизировать тексты уже наполненного wp
19. при активации плагина выполняется команда для базы данных ALTER DATABASE `база` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci которая производит изменение кодировки базы данных в правильную.
20. кнопка «тест» позволяющая протестировать парсинг источника.
21. возможность использовать несколько {skip}
22. возможность грабить картинки с RSS
23. возможность грабить видео с youtube.com по кивордам и вставка его до или после контента
24. добавили поддержку кодировки charset=ISO-8859-1
25. улучшили эргономику и информативность системы
26. добавили лог ошибок
27. система добавления ссылок на публикации в популярные сервисы закладочники.
28. функция удаления всех публикаций добавленных в блог одной кнопкой.
29. возможность синонимизировать заголовок публикации
30. проверка новых версий
31. исправлен целый ряд ошибок и багов


Описание фирменной технологии уникализации контента наречиями без существенного ухудшения читабельности текста.
Нужен уникальный контент? Есть решение! Feedmaster 1.5.x поможет Вам в этом!
Каждый вебмастер время от времени стыкается с проблемой уникализации контента. Хочу предложить решение разработанное нашей командой.
Решение состоит из двух частей:
Суть перового метода – если добавить перед прилагательным наречие, то смысл текста не нарушится, а вот структура шинглов, будет нарушена и тем самым контент будет уникализирован. Как известно «Яшка» вычисляет дублирование контента в Интернете используя в том числе алгоритм шинглов. В Интернете можно найти описание этого алгоритма. Замечу только, что если в текст предложения вставить новые слова, то такой текст для Яндекса становиться уникальным (ИМХО).
Таким образом мы интегрировали установку наречий перед прилагательными в отдельной версии плагина 1.5.x
В этой сборке предоставляется база прилагательных в количестве 78166 слов
Пример части базы прилагателных
длиннолицый
длинноногий
длинноносый
длиннополый
длиннорогий
длиннорукий
длинностволый
длинноствольный
длинноухий
длиннохвостый
длинношеий
длинношёрстный
а также база из 32 наречий. Таким образом в результате обработки текст остается приемлемо читаемым и в тоже время уникальным.
Второй метод – нами была отфильтрована база однозначных синонимов 7621 штук из общей базы синонимов, которая содержала более 48000 слов. Однозначные синонимы это синонимы, которые при замене не нарушают смысл предложения.
Пример базы однозначных синонимов
(’бездна’, 24126),
(’пропасть’, 24126),
(’бездоказательный’, 24127),
(’недоказанный’, 24127),
(’бездомный’, 24128),
(’бесприютный’, 24128),
(’бездыханный’, 24129),
(’мертвый’, 24129),
(’безжалостность’, 24130),
(’жестокость’, 24130),
(’безжалостный’, 24131),
(’беспощадный’, 24131),
(’жестокий’, 24131),
(’безжизненный’, 24132),
(’мертвый’, 24132),
(’беззаботный’, 24133),
(’беззаботливый’, 24133),
(’беззаконие’, 24134),
(’безправие’, 24134),
(’беззаконник’, 24135),
(’законопреступник’, 24135),
(’беззаконный’, 24136),
(’преступный’, 24136)Вложение 190

[Seo-man]

Для чего нужен плагин/парсер?

С помощью данного плагина возможно легко настроить самообновляющийся блог (новостной портал) на базе движка блога wordpress. Доступен ряд SEO функций при обработке импортируемого контента а также синонимизация контента.

Системные требования
1. PHP 5.2.2 и выше (библиотеки gd, mb, xml, curl, iconv)
2. MySQL 4.1 и выше
3. Apache
4. открытые исходящие соединения

Преимущества и возможности плагина (без особенностей последней версии)
• Фильтр запрещенных слов при наличии которых публикация не будет опубликована
• Нормальная работа с русским контентом и транскодирование в кодировку блога
• открытый исходный код
• устанавливается индивидуальный интервал обновления для каждой импортируемой ленты
• возможность выбрать в какую рубрику импортировать контент из заданной ленты
• парсинг html (по тэгам, настраивается парсинг html)
• сортировка по рубрикам в зависимости от наличия ключевых слов
• запуск по крону
• блок замены слов/словосочетаний на другие слова, ссылки и т.п.
• фильтр тегов
• «выкусывание» ссылок или установка внешних ссылок через редирект
• Скрипт загружает картинки на сервер или оставляет хотлинк а также называет картинки ключевыми словами из публикации (по названию публикации)
• формирует keywords и description для публикации в Custom Fields
• формирует название SEO friendly url публикации
• активация/деактивация обновления каждой ленты в интерфейсе управления без ее удаления
• устанавливает копирайт внизу публикации
• работает как с rss так и с atom лентами
• фильтр минимальной длинны публикации в символах (меньше указанного значения публикация не публикуется).
• опция выравнивания и обтекания картинок в публикации
• активация/деактивация комментариев для импортируемых публикаций
• активация/деактивация ping для импортируемых публикаций
• «подсветка» ключевиков жирным
• Ресайз картинок до установленного в админке значения
• управление установкой тэга <!--more-->
• Опция в админке, парсить только саму ленту а не контент хтмл
• шаблонизатор для копирайта, позволяющий вставлять УРЛ на публикацию откуда грабили и тп
• смещение времени в парсере
• рандом для вставки новостей с ограничителем до определенного количества
• рандом вставки картинок с ограничителем количества
• исправлен Глюк - при парсинге by keywords посты попадали в категорию “Без категории”
• удалили задержки в парсере, теперь парсит немного быстрее
• исправили ошибку “WordPress database error: ….”
• исправлен глюк с кодировками в php5
• изменили алгоритм формирования названий картинок, “_” между словами в названии картинки
• заменили на “-”, теперь названия картинок в нижнем регистре, исправлен глюк с “съеданием первого
• символа в названии картинки”.
• самое главное - сделали синонимизатор контента с возможностью установки процента синонимизации.
• Также у меня есть база для синонимизации, но так как я ее купил у
• “добрых” людей, могу предложить ее только за скромное вознаграждение в 20$ чтобы таким образом
• вернуть потраченные на нее средства.
• Характеристики базы: объем дампа 3.1Mb количество слов 107К.

В версии 1.4 добавлено
• улучшена производительность
• плагин работает с версией wordpress 2.3.1 и выше
• реализован автоматическое добавление тэгов из заголовка для каждой
• публикации
• фильтр обязательных слов с возможностью отключения фильтра в каждой
• из лент
• импорт баз синонимов из txt (разделитель между синонимами – пробел каждая группа синонимов в отдельной строке) или gz архивов с txt файлом. При перезаливке синонимов база синонимов очищается.
• исправлен ряд ошибок в дизайне и эргономике
• добавлен чекбокс для выделения один кликом всех публикаций в
• секции Delete posts
• добавлен в меню Options параметр Min Post Tags length который блокирует добавление в тэги слов, с малым количеством букв
• переработан ограничитель добавления публикаций. Это параметр Max post on day: в настройках ленты. Если активировать этот параметр установив например значение 3 - то парсер будет случайным образом при каждом запуске выбирать из ленты 3 публикации и добавлять их в блог. Парсер добавит только три публикации в день и не более с этой ленты.
В версии 1.3 добавлено

• Важно! сделали парсер статических страниц! теперь можно грабить контент практически с любого сайта без наличия rss/atom экспорта!
• работа через прокси: формат прокси 127.0.0.1ort
• установка user agent для каждой ленты
• автоматический импорт слов из названий категорий блога в сортировщик по ключевым словам
• запрет/активация хотлинкования картинок с с сайта источника (по умолчанию, если папка для сохранения картинок доступна, то картинки загружаются на хост, если по какойто причине скрипт неможет загрузить картинку, он ее хотлинкует если хотлинк включен, и если хотлинк отключен, то картинки их контента просто удалятся).
• спецсимволы такие как ’ интерпретировались предыдущей версией плагина как “?”, исправлено их корректное отображение.
• исправлен фильтр подстановки ссылок для определенных ключевых слов, если к примеру для подстановки было слово “soft” то парсер подставлял ссылку также и для части слова “software”, теперь поставляются ссылки только для отдельных слов.
• небольшие улучшения эргономики интерфейса.
• исправлена проблема статуса публикаций, (на не влияла на работу), парсер устанавливал неправильный статус публикации «не опубликовано», сейчас он устанавливает этот атрибут правильно.
• реализован алгоритм блокирования публикаций. Для блокировки необходимо средствами wordpress удалить ненужные публикации, и они появятся в разделе “delete” парсера и будут там до тех пор пока их оттуда не удалите. Если их удалить из раздела “delete” они будут распарсены повторно.
• переписана функция загрузки картинок на сервер (раньше была file_get_content теперь работает на curl).

Установка и настройка плагина
Загрузите фалы плагина: wp-feedmaster.php и wp-go.php в корневую директорию блога, а папку feedmaster в директорию wp-content/plugins
Внимание! Проверьте права на запись в папку wp-content/uploads/ иначе картинки не буду закачиваться на хост!
Активируйте плагин из админки блога.
Админка скрипта находится в меню Options/Feedmaster
Главное меню Control Panel
«Add Feed» – добавить ленту
«Disable» – деактивировать ленту
«Edit» – редактировать настройки ленты
«Delete» – удалить ленту
«Test» - тестировать ленту
«Debug» - лог работы парсера

[Seo-man]

Настройка лент
Важно – наличие внешних ссылок зависит от наличия тэга <a> в фильтре тэгов!
• «Name Feed:» – название
• «RSS or Atom URL:» – url адрес rss/atom ленты
• «To Category:» – выбор куда будут импортироваться публикации
• «Source link:» – копирайт (текст или html)
• «Feed Import interval:» – период запуска обновления ленты в секундах
• «Min length:» - порог минимальной длинны публикации в символах. Если длинна контента публикации меньше этого значения публикация не будет импортирована.
• «Get content:» – макрокоманды для парсинга контента из html. Есь две основные команды – {get} – текст будет добавлен в публикацию и {skip} – текст будет пропущен (включая тэги)
• «Images align:» - выравнивание картинок в публикации
• «Active» – активация/деактивация парсинга ленты
• «Upload thumbnail» – загрузка на сервер маленьких картинок
• «Upload images» – будут грабится картинки
• «Show thumbnail in preview» – будет отображаться маленькая картинка в предпросмотре
• «Available tags in text» – теги которые будут оставлены в тексте
• «Images pattern: » шаблон для вставки картинок
• «Published?(or Draft): » публиковать или добавлять как черновик.
• «Length: 450 chars: » длинна в символах от начала публикации до момента вставки тэга <!--more-->
• Static page pattern: - сигнатура для парсинга статической страницы.
• Count new post for add: - коридор ограничитель добавления публикаций в блог за один запуск.
• Images count: - коридор ограничитель добавления картинок в каждой публикации. Позволяет ограничить до нужного уровня количество загружаемых картинок в каждой публикации.
• Agent: - установка User agent для парсера.
• Use proxy – использовать в работе прокси
• Parse only RSS feed – парсить контент только из rss ленты
• Allow image hotlink? - запрет/активация хотлинкования картинок с с сайта источника (по умолчанию, если папка для сохранения картинок доступна, то картинки загружаются на хост, если по какойто причине скрипт не может загрузить картинку, он ее хотлинкует если хотлинк включен, и если хотлинк отключен, то картинки их контента просто удалятся).
• Synonimize content? – активация синонимизации контента и процент синонимизации
• Highlight keywords? – подсветка определенных ключевиком тэгом <b> (вводить ключевики через запятую.)
• Max post on day – максимальное количество публикаций за сутки, которое будет добавлено из этого источника
• Use Global Allowed Words? – активировать фильтр обязательных слов для этого источника
• Use Global Stop Words? – активировать фильтр стоп слов для этого источника
• Post Tags – добавлять метки (тэги) для публикаций из этого источника
• Charset content: - принудительная установка кодировки контента
• Replace adjective? – технология уникализации контента используя наречия.
• Get all links from page. depth: - портатор сайта. Задаем стартовую страницу, глубину обхода сайта, и количество ссылок, парсер будет сканировать весь сайта и пытаться парсить публикации.
• Max post – позволяет задать ограничение на парсинг определенного количества публикаций за день либо за запуск.
• «Synonimize and replace adjective title?» синонимизация и уникализация заголовка наречиями.
• Use bookmark? – модуль добавления ссылок в букмарки будет добавлять ссылки на каждую публикацию, добавленную в блог с этого источника
• Get title: - сигнатура которая позволяет парсить любой контент и добавлять его в качестве заголовка публикации.
• Youtube: - добавление видео до или после публикации по заданному киворду.

Меню замены
«From» – что нужно заменить
«To» – на что заменить (можно добавить html или текст)
«Limit» –максимум замен на одной странице

«Delete» – для удаления записи, отметьте галочку и нажмите «Save»
«Active» – позволяет скрипту производить замену

Сортировка по категориям в зависимости от наличия ключевиков
«KeyWord» – ключевик
«Cetegory» – категория куда добавлять
«Delete» – для удаления записи, отметьте галочку и нажмите «Save»
«Active» – позволяет скрипту производить авто распределение
Import from category - автоматический импорт слов из названий категорий блога в сортировщик по ключевым словам

Синонимизация



Посты Wordpress'a – еще несинонимизированные публикации блога
Search Synonim – поиск синонима по слову
Import Synonim – импорт Ваших баз синонимов. Импортировать можно как из txt файла так и из gz архива. Каждая группа синонимов в новой строке. Импортировать можно как из файла так и из директории на сервере. Position word задает позицию первого синонима в CSV формате. Это сделано для удобства. Например в нулевой позиции может идти порядковый номер синонима в файле.
Charset – кодировка файла с синонимами.
Truncate table – очистить базу синонимов перед загрузкой новой.
Опции

Debug – включить или отключить дебаг(лог работы).
Format for portator: - расчирения файлов которые будет обрабатывать портатор.
User for XMLRPC – логин пароль в блог (требыется для работы через XMLRPC )
Allowed words - фильтр обязательных слов. Можно использовать маску вида «моск*»
Stop words – фильтр запрещенных слов
Images property – граничные размеры картинок при закачке на сервер.
Time offset – смещение времени публикации новых постов в часах относительно текущего времени блога.
Min Sort Keyword length – параметр влияющий на работу Import from category минимальная длинна слов в названии категорий которые будут обработаны.
Proxy List – список прокси серверов.
Min Post Tags length - скрипт автоматически формирует тэги (метки) для публикаций блога из слов в заголовке публикации. Этот параметр позволяет ограничить длину обрабатываемых слов.
Setting Bookmarks – системы букмарков, необходимо вводить логин и пароль по одному для аккаунта в каждую строку.
Export Setting Feedmaster – экспорт настроек в файл.
Import Setting Feedmaster – импорт настроек из файла.
Clear Table Posts – удаление всех публикаций.


Меню Delete post

Кнопка delete - удалив из этого меню публикации, вы позволите парсеру их повторно распарсить.

Как работает скрипт?
Загружаем ленту, выбираем из нее все публикации, отбираем те что еще не обработаны (идентификация идет по URL на публикацию)
Пытаемся загрузить html с полной публикацией используя url из rss канала.
Если не может загрузить - пропускаем
Удаляем или устанавливаем редирект на внешние ссылки
Загружаем картинки, ресайзим их
Проверяем длину контента если меньше значения Min length - пропускаем
Заменяем слова (закладка Words for replace)
«Подсвечиваем» ключевики – меню «Highlight keywords?»
Распределяем по рубрикам – фильтр «Sort Keywords to wordpress category»
Устанавливаем признаки для публикации – ping, tag <!--more-->, Allowed comments

Полезно знать:
Иногда парсер не парсит ленту – в чем причина? Как будто он зависает.

Некоторые сайты имеют защиту от парсинга или ddos. Был случай что во время тестирования парсера ленты которые мы активно использовали для тестирования временно были недоступны с ip нашего сервера. Следовательно эти ресурсы обладали защитой. Будьте внимательны, настраивайте импорт через определенный интервал времени или используйте прокси!

В чем проблема?

Попросите администратора сервера активировать php функцию iconv(). Обычно это решается быстро и положительно.



Загрузка базы синонимов
Вы можете импортировать Ваши базы синонимов используя функцию импорта из txt файла или gz архива.
Оптимизация запуска скрипта. Управление нагрузкой. Настройка cron.

Следует обратить внимание на то, что парсер во время работы нагружает сервер.
Потому если на одном сервере много сайтов, то запускать по cronу каждый блог нужно в свое время а не все одновременно.

Скрипт импорта нужно запускать через эмуляцию загрузки страницы в unix системе (команды wget или GET). Запуск через php особенно на русскоязычных блогах может приводить к неправильной работе!
Если запуски парсеров на разных блогах производить в свое время, то без проблем на одном сервере можно держать20 блогов и больше. Проверено.

Также рекомендую использовать параметр Feed Import interval: в настройках каждой ленты. Используя разные интервалы для каждой ленты, можно добиться того, что в один момент времени парсер будет парсить только часть лент а не все, тем самым нагрузку на сервере можно распределить по времени.

[Seo-man]

База синонимов для FeedMaster

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 5 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащейся здесь.

[dabok]

А какой пароль на архив то?

[Seo-man]

Перезалил архив, пароля теперь нет.

[777bet]

Классная вещ! С помощью этого плагина можно заработать неплохо что я и делаю) Спасибо админ

[dabok]

Всё равно пароль просит 0_o

[qwerty123]

че за тупость просить еще 5 сообщений чтоб скачать

[Seo-man]

Это не тупость, а миниматьная благодарность за скрипт. Пароля точно нет! Проверяйте.