|
Чем можно парсить динамически обновляемые страницы сайтов?
|
|||
---|---|---|---|
#18+
Например, вот такую: https://ru.tradingview.com/crypto-screener/ подскажите плиз ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2022, 17:16 |
|
Чем можно парсить динамически обновляемые страницы сайтов?
|
|||
---|---|---|---|
#18+
Dadont, На каком стеке работаете?? а вообщето скрапинг веб страниц по любому работать будет слишком медленно для получения катировок в реальном времяни. Если реально надо то фиды можно покупать ))) Но я давно с данной темой не работаю, так что не помню уже где и как. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2022, 09:32 |
|
Чем можно парсить динамически обновляемые страницы сайтов?
|
|||
---|---|---|---|
#18+
uProger Dadont, На каком стеке работаете?? а вообщето скрапинг веб страниц по любому работать будет слишком медленно для получения катировок в реальном времяни. Если реально надо то фиды можно покупать ))) Но я давно с данной темой не работаю, так что не помню уже где и как. Стек не важен, мне нужен принцип или инструмент, чтобы парсить такие данные. Покупать пока не на что))) API у них нет((( ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2022, 09:58 |
|
Чем можно парсить динамически обновляемые страницы сайтов?
|
|||
---|---|---|---|
#18+
Dadont API у них нет((( Если у них страница обновляется динамически, то АПИ должен быть, хотя бы неофициальный - данные для обновлений она ведь откуда-то берет. Открывай страницу в бразере и смотри внимательно запросы. Там, конечно (да и скорее всего) может быть вебсокет, но и для них есть средства чтобы оттрейсить. А так тебе правильно сказали - парсинг страницы в твоем случае это тупиковый путь. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2022, 11:39 |
|
Чем можно парсить динамически обновляемые страницы сайтов?
|
|||
---|---|---|---|
#18+
Dadont, Ну скажем на PHP, Python или Node.js у каждого свой модули и библиотеки для парсинга. А вообщем случае получаем код страницы и выбираем от туда что надою скажем все заголовка h1 или содержимое дивов с определённым классом или id ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2022, 20:34 |
|
|
Start [/forum/topic.php?fid=22&tid=1443134]: |
0ms |
get settings: |
21ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
59ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
166ms |
get tp. blocked users: |
2ms |
others: | 313ms |
total: | 593ms |
0 / 0 |