Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Скрипт парсинга RSS в базу MYSQL / 4 сообщений из 4, страница 1 из 1
07.01.2016, 19:38:10
    #39143105
mast88
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скрипт парсинга RSS в базу MYSQL
Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql.

Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss
...
Рейтинг: 0 / 0
07.01.2016, 20:08:52
    #39143109
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скрипт парсинга RSS в базу MYSQL
mast88,

В языке MySQL если и возможно распарсить RSS, то весьма трудоемко. Да и незачем. Обычно это делается на каком-нибудь клиентском языке.
...
Рейтинг: 0 / 0
10.01.2016, 00:25:50
    #39143973
Freeze729
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скрипт парсинга RSS в базу MYSQL
Недавно писал:
php + mysql возможно. Придётся задействовать внешние модули UTF8+ReflectionTypeHint, это гитхабе посмотри, иначе голову сломаешь с кодировками. Никакие iconv не помогут, там двубайтовые символы. Отсеивать лучше по title.
...
Рейтинг: 0 / 0
11.01.2016, 21:44:11
    #39144989
Freeze729
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скрипт парсинга RSS в базу MYSQL
mast88Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql.

Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss

У меня есть полностью реализованный скрипт и побеждённый с кодировками, поскольку новостные RSS в двубайтовом UTF-8.
PHP + MYSQL
есть также PHP+ORACLE
гоняю по 135 ресурсам, каждые 15 минут, подкачивает только новые по заголовкам и новостному агенству, если встречается аналогичная новость за 7 дней (дистанция варируется). Скрипт полностью автономен, устанавливается на любой хостинг, дальше вешается задание и вуаля. Есть страница, которая запрашивает новости из БД по необходимому фильтру. Источники добавляются/удаляются по желанию и есть статистика последней загрузки данных по конкретному источнику.

В яндексе найдёшь простую реализацию для rss-яндекса, если нужно поиграться, а всякие условности с проверками и прочее, это уже кодинг.
Если возьмёшься реализовывать сам, то сразу подсказываю, делай две таблицы, одну с кэшем, где будет существовать не более 8000 новостей, а вторая основная, где будет добавляться новое. Если будешь реализовывать с одной таблицей и сравнивать всё в ней по title, то при 40000 записях и выше, получишь падение производительности раз в десять.

Если кому интересно, есть личные сообщения:)
...
Рейтинг: 0 / 0
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Скрипт парсинга RSS в базу MYSQL / 4 сообщений из 4, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]