|
|
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql. Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.01.2016, 19:38:10 |
|
||
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
mast88, В языке MySQL если и возможно распарсить RSS, то весьма трудоемко. Да и незачем. Обычно это делается на каком-нибудь клиентском языке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.01.2016, 20:08:52 |
|
||
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
Недавно писал: php + mysql возможно. Придётся задействовать внешние модули UTF8+ReflectionTypeHint, это гитхабе посмотри, иначе голову сломаешь с кодировками. Никакие iconv не помогут, там двубайтовые символы. Отсеивать лучше по title. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2016, 00:25:50 |
|
||
|
Скрипт парсинга RSS в базу MYSQL
|
|||
|---|---|---|---|
|
#18+
mast88Подскажите пожалуйста простой скрипт парсинга RSS в базу mysql. Нужно, чтобы просто поля title и description ленты RSS попадали в mysql в соответствующие поля и проверялось на дубли по полю link в rss У меня есть полностью реализованный скрипт и побеждённый с кодировками, поскольку новостные RSS в двубайтовом UTF-8. PHP + MYSQL есть также PHP+ORACLE гоняю по 135 ресурсам, каждые 15 минут, подкачивает только новые по заголовкам и новостному агенству, если встречается аналогичная новость за 7 дней (дистанция варируется). Скрипт полностью автономен, устанавливается на любой хостинг, дальше вешается задание и вуаля. Есть страница, которая запрашивает новости из БД по необходимому фильтру. Источники добавляются/удаляются по желанию и есть статистика последней загрузки данных по конкретному источнику. В яндексе найдёшь простую реализацию для rss-яндекса, если нужно поиграться, а всякие условности с проверками и прочее, это уже кодинг. Если возьмёшься реализовывать сам, то сразу подсказываю, делай две таблицы, одну с кэшем, где будет существовать не более 8000 новостей, а вторая основная, где будет добавляться новое. Если будешь реализовывать с одной таблицей и сравнивать всё в ней по title, то при 40000 записях и выше, получишь падение производительности раз в десять. Если кому интересно, есть личные сообщения:) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.01.2016, 21:44:11 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=39143973&tid=1832287]: |
0ms |
get settings: |
10ms |
get forum list: |
18ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
180ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 197ms |
| total: | 477ms |

| 0 / 0 |
