Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / запуск javascript в php / 5 сообщений из 5, страница 1 из 1
07.09.2012, 11:33:37
    #37947929
Програмёр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
запуск javascript в php
Всем привет.
Прошу направить в нужную сторону копания...
А произошло следующее:
есть программа парсинга сайта. Так вот, с недавнего времени на этом сайте усилили защиту от парсинга, раньше по количеству запросов банили, а теперь заставляют javascript выполнить. Так вот, есть ли метод, запустить этот javascript после получения сайта через curl? Кончено можно было бы этот скрипт просто на php переписать, но он настолько путано написан, что данный процесс может занять от 2 дней до недели (в моём случае это долго).
Представляю всё дело так: получаю данные через curl --> выполняю скрипт (в котором осуществляется запись cookie и перезагрузка страницы) --> получаю новые данные через curl.

Думал отправить полученный скрипт на машину пользователя, там выполнить и отправить ответ на сервер, но:
1. Скрипт использует DOM, что может плохо сказаться на самом приложении
2. В скрипте записываются cookie (которых и так хватает от самого приложения), которые ничем не отличить от родных
3. В скрипте происходит переход (обновление). Что тоже надо отловить и не дать ему этого сделать.


Вообщем жду подсказок как можно выйти из положения.
Заранее большое всем спасибо.
...
Рейтинг: 0 / 0
07.09.2012, 11:45:56
    #37947957
Hett
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
запуск javascript в php
Ну может взять какой-нибудь яваскрипт движек и заставить его выполнять?
...
Рейтинг: 0 / 0
07.09.2012, 12:12:56
    #37948012
Програмёр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
запуск javascript в php
HettНу может взять какой-нибудь яваскрипт движек и заставить его выполнять?

ну это типа да... но где его взять? )) как заставить работать и всё такое. В этом то и заключается вопрос :)
Если ссылочку кинете, или название такого движка, который на сервак можно кинуть - буду очень благодарен...
...
Рейтинг: 0 / 0
07.09.2012, 12:22:17
    #37948032
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
запуск javascript в php
Програмёркак можно выйти из положенияВариантов вижу несколько.
1. Обратиться к владельцу сайта и договориться с ним о продаже или передаче контента.
2. Обрабатывать сайт в настоящем браузере. Вполне будет работать до следующей волны противодействия таким как Вы - попросят иногда ввести капчу, подвинуть зеленый треугольник и т.п.
...
Рейтинг: 0 / 0
07.09.2012, 12:54:33
    #37948104
Ренат
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
запуск javascript в php
vkleПрограмёркак можно выйти из положенияВариантов вижу несколько.
1. Обратиться к владельцу сайта и договориться с ним о продаже или передаче контента.
2. Обрабатывать сайт в настоящем браузере. Вполне будет работать до следующей волны противодействия таким как Вы - попросят иногда ввести капчу, подвинуть зеленый треугольник и т.п.
еще ужасный есть вариант Selenium. Если вам не жалко ресурсов сервера и вы можете дать пользователю подождать (и сервер нагрузить на пару секунд) то этот вариант ваш. Грубо говаря вы им посылаете запросы в браузер, который на сервере откроет и выполнит любой js скрипт
...
Рейтинг: 0 / 0
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / запуск javascript в php / 5 сообщений из 5, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]