|
|
|
запуск javascript в php
|
|||
|---|---|---|---|
|
#18+
Всем привет. Прошу направить в нужную сторону копания... А произошло следующее: есть программа парсинга сайта. Так вот, с недавнего времени на этом сайте усилили защиту от парсинга, раньше по количеству запросов банили, а теперь заставляют javascript выполнить. Так вот, есть ли метод, запустить этот javascript после получения сайта через curl? Кончено можно было бы этот скрипт просто на php переписать, но он настолько путано написан, что данный процесс может занять от 2 дней до недели (в моём случае это долго). Представляю всё дело так: получаю данные через curl --> выполняю скрипт (в котором осуществляется запись cookie и перезагрузка страницы) --> получаю новые данные через curl. Думал отправить полученный скрипт на машину пользователя, там выполнить и отправить ответ на сервер, но: 1. Скрипт использует DOM, что может плохо сказаться на самом приложении 2. В скрипте записываются cookie (которых и так хватает от самого приложения), которые ничем не отличить от родных 3. В скрипте происходит переход (обновление). Что тоже надо отловить и не дать ему этого сделать. Вообщем жду подсказок как можно выйти из положения. Заранее большое всем спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.09.2012, 11:33:37 |
|
||
|
запуск javascript в php
|
|||
|---|---|---|---|
|
#18+
Ну может взять какой-нибудь яваскрипт движек и заставить его выполнять? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.09.2012, 11:45:56 |
|
||
|
запуск javascript в php
|
|||
|---|---|---|---|
|
#18+
HettНу может взять какой-нибудь яваскрипт движек и заставить его выполнять? ну это типа да... но где его взять? )) как заставить работать и всё такое. В этом то и заключается вопрос :) Если ссылочку кинете, или название такого движка, который на сервак можно кинуть - буду очень благодарен... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.09.2012, 12:12:56 |
|
||
|
запуск javascript в php
|
|||
|---|---|---|---|
|
#18+
Програмёркак можно выйти из положенияВариантов вижу несколько. 1. Обратиться к владельцу сайта и договориться с ним о продаже или передаче контента. 2. Обрабатывать сайт в настоящем браузере. Вполне будет работать до следующей волны противодействия таким как Вы - попросят иногда ввести капчу, подвинуть зеленый треугольник и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.09.2012, 12:22:17 |
|
||
|
запуск javascript в php
|
|||
|---|---|---|---|
|
#18+
vkleПрограмёркак можно выйти из положенияВариантов вижу несколько. 1. Обратиться к владельцу сайта и договориться с ним о продаже или передаче контента. 2. Обрабатывать сайт в настоящем браузере. Вполне будет работать до следующей волны противодействия таким как Вы - попросят иногда ввести капчу, подвинуть зеленый треугольник и т.п. еще ужасный есть вариант Selenium. Если вам не жалко ресурсов сервера и вы можете дать пользователю подождать (и сервер нагрузить на пару секунд) то этот вариант ваш. Грубо говаря вы им посылаете запросы в браузер, который на сервере откроет и выполнит любой js скрипт ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.09.2012, 12:54:33 |
|
||
|
|

start [/forum/topic.php?fid=23&fpage=135&tid=1464735]: |
0ms |
get settings: |
7ms |
get forum list: |
17ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
85ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
42ms |
get tp. blocked users: |
1ms |
| others: | 232ms |
| total: | 403ms |

| 0 / 0 |
