Скачать Mega Parser
Mega Parser
(Многосайтовый граббер DLE сайтов для DLE движков 9.2+. )
(Многосайтовый граббер DLE сайтов для DLE движков 9.2+. )
Mega Parser - содержит в себе исчерпывающие возможности парсинга для быстрого создания и запуска проектов любой сложности и тематики.
Предоставляются полные возможности управления сайтами расположенных на различных серверах имеющих БД mysql с удалённым подключением.
Удобство управления парсингом сразу неограниченного числа сайтов с одного домена в автоматическом режиме по-средством создания задач для CRON (планировщик задач)
Типичные реализации проектов:
Сайты СДЛ: Для СДЛ сайтов реализована возможность полуавтоматического парсинга, зачем вручную загружать изображения, файлы, видеофайлы, делать скриншоты, всё это дело загружать , подготавливать текст, подготавливать специальную разметку статьи, актцентировать ключевые слова и запросы, постоянно мониторить сайт-первоисточник на появление новых публикаций, перебегать с одной админ панели в другую если сайтов несколько, хватит тратить дрогоценное время на то что может сделать программирование за Вас, доверьте всё это дело Mega Parser, а Вам останется только уникализировать текст в привычном подобии DLE редактора. Mega Parser автоматически спарсит посты и положит их в собсвенную БД, загружая все файлы,изображения,видео,скриншоты в хранилище Mega Parser, после этого весь полученный контент будет доступен в каталоге отсортированном по категориям и сайтам, для последующего ручного модерирования текста поста и постинга в любой сайт добавленный в систему. Многоаккаунтовость пользователей и распределение доступа для каждого постера к отдельным модулям Mega Parser обеспечит безопасное делегирования задач постерам.
Видео-порталы: для создания крупных видео-порталов со своим видео-контентом реализована возможность автоматической отлаженной загрузки видео через CRON, публикация поста в данной ситуации произойдёт только после полной загрузки видеофайла через CRON. Имеется возможность легкой переносимости скрипта, в том числе с локального веб-сервера на настоящий веб-сервер, что позволит подготовить видео посты без загрузки видео заранее до покупки сервера, а уже только после переноса поставить задачу загрузки видео на CRON и останется только ожидать уже полноценного видео-портала.
Адалт: для создания адалт реализована возможность анимации (прокрутка) изображений при наведении курсора на изображения поста короткой новости. Скриншоты делаются парсером по заданным параметрам с видеофайлов расположенных как в сети, так и находящихся в локальном хранилище (при загрузки видео на сервер). Также реализована возможность создания анимации gif с видео.
Дорвеи: для дорвеев предоставляется возможность подключения сразу множества сайтов расположенных на одном хостинге в один POST запрос. Полная автоматизация работы бесконечного числа сайтов через CRON. Имитация живого постинга через jetswap (живые люди с комьютера проведут определённое время на сайте, проделают любые поведенческие факторы из доступных и отправят его как бы это делали постеры на сайте через стандартную форму добавления постов DLE). Возможность создания индивидуальной настройки не только для сайта импортёра (дорвея), но и для каждого из сайтов экспортёров (сайт источник для парсинга).
Новостные сайты: данные сайты не требуют модификации контента, а на против ПС способствуют защите авторству таких сайтов при размещении обратной ссылки на них и оставлении целостного контента, единственное условие это свеже опубликованная информация взятая с различных похожих по тематике источников (новости за прошлый год мало кого наверное будут интресовать), для таких тематик сайтов реализована возможность постоянного мониторинга через CRON, Ваш сайт будет первым получать весь свеже опубликованный контент.
Файловики: для создания сайтов с полезным контентом для скачивания с Вашего сервера реализована возможность загрузки файлов любого размера и полного закрепления их за постом (при закреплении файл удалится вместе с постом, если пост удалить через стандартную форму DLE, закрепляются также все остальные загружаемые файлы, такие как изображения, видео, скриншоты).
Другие тематики: Mega Parser содержит комплексный набор функций, который подойдёт для сайтов совершенно любых тематик.
Возможности парсинга и расширения:
Поддержка:
На первоначальном этапе поддерживается работа только CMS DLE (предусмотрена возможность написания расширения для работы с новыми CMS).
Грабберы:
Mega Parser включает в себя граббер DLE сайтов и ещё с 18 дополнительных ядре для сайтов (все ядра можно просмотреть в папке core).
Написание собственных парсеров:
Mega Parser содержит в себе удобную конструкцию для написания собственных парсеров (ядер), сохраняя при этом всю полноту возможностей Mega Parser для работы с новым ядром, таким образом позволяя расширить возможности граббинга новых CMS или сайтов.
На первоначальном этапе поддерживается работа только CMS DLE (предусмотрена возможность написания расширения для работы с новыми CMS).
Грабберы:
Mega Parser включает в себя граббер DLE сайтов и ещё с 18 дополнительных ядре для сайтов (все ядра можно просмотреть в папке core).
Написание собственных парсеров:
Mega Parser содержит в себе удобную конструкцию для написания собственных парсеров (ядер), сохраняя при этом всю полноту возможностей Mega Parser для работы с новым ядром, таким образом позволяя расширить возможности граббинга новых CMS или сайтов.
Модули:
Mega Parser включает в себя удобную конструкцию написания собственных модулей.
Набор встроенных модулей
Парсинг - данный модуль отвечает за парсинг в ручном режиме.
Конфигурация - данный модуль отвечает за индивидуальную настройку сайтов импортёров и экспортёров.
Импортёры - модуль добавления/удаления новых сайтов импортёров.
Экспортёры - модуль добавления/удаления новых сайтов экспортёров.
Предмодерация - модуль ручной модерации постов из каталога постов спасренным в контент хранилище Mega Parser.
Ключ слова - модуль позволяет исправить допущенные ошибки ключевых слов и предложений.
CRON - модуль для создания заданий для последующей установки сайтов на CRON.
Перемешивание - модуль делает перемещивания постов в отдельных категориях и сайтов.
Синономайзер - модуль позволяет синонимизировать текст, а также отладку БД слов синонимов.
Карта сайта - модуль позволяет создавать карты сайтов.
Masterload - модуль позволяет сделать загрузку видеофайлов для постов (служит для отдельного получения постов и видеофайлов прикреплённых к посту)
Глобальное - содержит глобальные настройки для Mega Parser.
Пользователи - позволяет создавать новых пользователей и установку прав доступа к отдельным модулям.
Плагины:
Mega Parser включает в себя удобную конструкцию написания собственных плагинов.
sytemap - позволяет создавать карты сайта по расписанию CRON.
jetswap - позволяет накручивать поведенческие факторы при добавлении постов через систему jetswap.
cron_masterload - позволяет загружать видеофайлы для постов по расписанию CRON.
cron_parser - позволяет парсить сайты по установленным заданиям по расписанию CRON (заданиям созданным в модуле CRON).
Лёгкая эксплутация:
Mega Parser удобно сконструирован для комфортной работы, имеется возможности смены фона рабочего стола Mega Parser с возможностью добавляния своих изображений, эффектов и структуры конфигурации, а реализация jquery стирает грани привычные для постоянных перезагрузок страниц, работая с Mega Parser вы позабудете о них. Мы понимаем насколько тоскливо может быть чтение чёрно-белого мануала, поэтому в Mega Parser был реализован модуль помошник, который содержит в себе описания каждого из модулей в отдельном окне в котором на данный момент находится пользователь для удобного и быстрого изучения возможностей Mega Parser.
Сео:
Реализованы все технические сео трюки используемые в контенте, для придания уникальности и подчёркивания необходимых ключевых запросов.
Возможности рассылки спарсенных постов по соц. закладкам .
Функция перевода текста с иностранных языков.
Синонимизация текста , предоставляется 2-е базы синонимов.(осторожно! Некачественная или нетематическая синонимизация сделает только хуже! В большинстве тематик лучше не использовать).
Создание слов для облако тегов по настраиваемым параметрам.
Добавления приставок к постам (зачастую требуется оставить обратную ссылку или сделать свою фирменную подпись под запрос).
Возможность постоянного мониторинга ресурсов для поступления на сайт самого свежего контента(как только на сайте источнике появится новость парсер автоматически (через промежуточный запуск по CRON) возьмёт всё новое исключив уже имеющиеся).
Возможность управления мета-данными.
Возможность изменения всей структуры поста.
Возможность исключения и замены конфликтующих слов, тегов, внутренних ссылок, внешних ссылок, изъятие ссылок с оставлением текста ссылок, подменой ссылок на домен сайта импортёра, изъятием яваскриптов и другие настраиваемые индивидуально параметры.
Возможность проверки уникальности текста для поступления на сайт 100% уникального тектса (зачастую бывает что сайт не полностью проидексирован роботом (как правило у молодых проектов или крупного проекта но исключённым из индекса одним из поисковиков, в этом случае, если данный контент разместить на соц. закладках ya.ru и i.ua с обратной ссылкой на наш сайт, контент засчитается роботом нашему сайту как первоисточник для робота) .
Возможность автоматического создания карты сайта формата .txt и .xml через CRON для всех сайтов в системе( своевременное создание карты не позволит роботу опоздать с засчитыванием текста сайту, а карта сайта в .txt формате будет предохранителем для сайтов с огромным кол-ом публикаций, где может выйти время заргрузки по-причине .xml карты ~ 100 мб, в .txt этот размер будет едва ли иметь 20мб).
Возможности рассылки спарсенных постов по соц. закладкам .
Функция перевода текста с иностранных языков.
Синонимизация текста , предоставляется 2-е базы синонимов.(осторожно! Некачественная или нетематическая синонимизация сделает только хуже! В большинстве тематик лучше не использовать).
Создание слов для облако тегов по настраиваемым параметрам.
Добавления приставок к постам (зачастую требуется оставить обратную ссылку или сделать свою фирменную подпись под запрос).
Возможность постоянного мониторинга ресурсов для поступления на сайт самого свежего контента(как только на сайте источнике появится новость парсер автоматически (через промежуточный запуск по CRON) возьмёт всё новое исключив уже имеющиеся).
Возможность управления мета-данными.
Возможность изменения всей структуры поста.
Возможность исключения и замены конфликтующих слов, тегов, внутренних ссылок, внешних ссылок, изъятие ссылок с оставлением текста ссылок, подменой ссылок на домен сайта импортёра, изъятием яваскриптов и другие настраиваемые индивидуально параметры.
Возможность проверки уникальности текста для поступления на сайт 100% уникального тектса (зачастую бывает что сайт не полностью проидексирован роботом (как правило у молодых проектов или крупного проекта но исключённым из индекса одним из поисковиков, в этом случае, если данный контент разместить на соц. закладках ya.ru и i.ua с обратной ссылкой на наш сайт, контент засчитается роботом нашему сайту как первоисточник для робота) .
Возможность автоматического создания карты сайта формата .txt и .xml через CRON для всех сайтов в системе( своевременное создание карты не позволит роботу опоздать с засчитыванием текста сайту, а карта сайта в .txt формате будет предохранителем для сайтов с огромным кол-ом публикаций, где может выйти время заргрузки по-причине .xml карты ~ 100 мб, в .txt этот размер будет едва ли иметь 20мб).
Данное описание составляет всего лишь мизирную часть тех возможностей, что предоставляет система Mega Parser, с большинством из них, можно ознакомится совершенно бесплатно скачав пробную версию скрипта Mega Parser.
Mega Parser