|
|
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql. Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.01.2016, 19:38 |
|
||
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
mast88, В языке MySQL если и возможно распарсить RSS, то весьма трудоемко. Да и незачем. Обычно это делается на каком-нибудь клиентском языке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.01.2016, 20:08 |
|
||
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
Недавно писал: php + mysql возможно. Придётся задействовать внешние модули UTF8+ReflectionTypeHint, это гитхабе посмотри, иначе голову сломаешь с кодировками. Никакие iconv не помогут, там двубайтовые символы. Отсеивать лучше по title. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2016, 00:25 |
|
||
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
mast88Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql. Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss У меня есть полностью реализованный скрипт и побеждённый с кодировками, поскольку новостные RSS в двубайтовом UTF-8. PHP + MYSQL есть также PHP+ORACLE гоняю по 135 ресурсам, каждые 15 минут, подкачивает только новые по заголовкам и новостному агенству, если встречается аналогичная новость за 7 дней (дистанция варируется). Скрипт полностью автономен, устанавливается на любой хостинг, дальше вешается задание и вуаля. Есть страница, которая запрашивает новости из БД по необходимому фильтру. Источники добавляются/удаляются по желанию и есть статистика последней загрузки данных по конкретному источнику. В яндексе найдёшь простую реализацию для rss-яндекса, если нужно поиграться, а всякие условности с проверками и прочее, это уже кодинг. Если возьмёшься реализовывать сам, то сразу подсказываю, делай две таблицы, одну с кэшем, где будет существовать не более 8000 новостей, а вторая основная, где будет добавляться новое. Если будешь реализовывать с одной таблицей и сравнивать всё в ней по title, то при 40000 записях и выше, получишь падение производительности раз в десять. Если кому интересно, есть личные сообщения:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.01.2016, 21:44 |
|
||
|
|

start [/forum/topic.php?fid=47&fpage=114&tid=1832287]: |
0ms |
get settings: |
7ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
46ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
45ms |
get tp. blocked users: |
1ms |
| others: | 225ms |
| total: | 359ms |

| 0 / 0 |
