powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Скрипт парсинга RSS в базу MYSQL
4 сообщений из 4, страница 1 из 1
Скрипт парсинга RSS в базу MYSQL
    #39143105
mast88
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql.

Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss
...
Рейтинг: 0 / 0
Скрипт парсинга RSS в базу MYSQL
    #39143109
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mast88,

В языке MySQL если и возможно распарсить RSS, то весьма трудоемко. Да и незачем. Обычно это делается на каком-нибудь клиентском языке.
...
Рейтинг: 0 / 0
Скрипт парсинга RSS в базу MYSQL
    #39143973
Freeze729
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Недавно писал:
php + mysql возможно. Придётся задействовать внешние модули UTF8+ReflectionTypeHint, это гитхабе посмотри, иначе голову сломаешь с кодировками. Никакие iconv не помогут, там двубайтовые символы. Отсеивать лучше по title.
...
Рейтинг: 0 / 0
Скрипт парсинга RSS в базу MYSQL
    #39144989
Freeze729
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mast88Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql.

Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss

У меня есть полностью реализованный скрипт и побеждённый с кодировками, поскольку новостные RSS в двубайтовом UTF-8.
PHP + MYSQL
есть также PHP+ORACLE
гоняю по 135 ресурсам, каждые 15 минут, подкачивает только новые по заголовкам и новостному агенству, если встречается аналогичная новость за 7 дней (дистанция варируется). Скрипт полностью автономен, устанавливается на любой хостинг, дальше вешается задание и вуаля. Есть страница, которая запрашивает новости из БД по необходимому фильтру. Источники добавляются/удаляются по желанию и есть статистика последней загрузки данных по конкретному источнику.

В яндексе найдёшь простую реализацию для rss-яндекса, если нужно поиграться, а всякие условности с проверками и прочее, это уже кодинг.
Если возьмёшься реализовывать сам, то сразу подсказываю, делай две таблицы, одну с кэшем, где будет существовать не более 8000 новостей, а вторая основная, где будет добавляться новое. Если будешь реализовывать с одной таблицей и сравнивать всё в ней по title, то при 40000 записях и выше, получишь падение производительности раз в десять.

Если кому интересно, есть личные сообщения:)
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Скрипт парсинга RSS в базу MYSQL
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]