powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / запуск javascript в php
5 сообщений из 5, страница 1 из 1
запуск javascript в php
    #37947929
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет.
Прошу направить в нужную сторону копания...
А произошло следующее:
есть программа парсинга сайта. Так вот, с недавнего времени на этом сайте усилили защиту от парсинга, раньше по количеству запросов банили, а теперь заставляют javascript выполнить. Так вот, есть ли метод, запустить этот javascript после получения сайта через curl? Кончено можно было бы этот скрипт просто на php переписать, но он настолько путано написан, что данный процесс может занять от 2 дней до недели (в моём случае это долго).
Представляю всё дело так: получаю данные через curl --> выполняю скрипт (в котором осуществляется запись cookie и перезагрузка страницы) --> получаю новые данные через curl.

Думал отправить полученный скрипт на машину пользователя, там выполнить и отправить ответ на сервер, но:
1. Скрипт использует DOM, что может плохо сказаться на самом приложении
2. В скрипте записываются cookie (которых и так хватает от самого приложения), которые ничем не отличить от родных
3. В скрипте происходит переход (обновление). Что тоже надо отловить и не дать ему этого сделать.


Вообщем жду подсказок как можно выйти из положения.
Заранее большое всем спасибо.
...
Рейтинг: 0 / 0
запуск javascript в php
    #37947957
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну может взять какой-нибудь яваскрипт движек и заставить его выполнять?
...
Рейтинг: 0 / 0
запуск javascript в php
    #37948012
Програмёр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettНу может взять какой-нибудь яваскрипт движек и заставить его выполнять?

ну это типа да... но где его взять? )) как заставить работать и всё такое. В этом то и заключается вопрос :)
Если ссылочку кинете, или название такого движка, который на сервак можно кинуть - буду очень благодарен...
...
Рейтинг: 0 / 0
запуск javascript в php
    #37948032
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Програмёркак можно выйти из положенияВариантов вижу несколько.
1. Обратиться к владельцу сайта и договориться с ним о продаже или передаче контента.
2. Обрабатывать сайт в настоящем браузере. Вполне будет работать до следующей волны противодействия таким как Вы - попросят иногда ввести капчу, подвинуть зеленый треугольник и т.п.
...
Рейтинг: 0 / 0
запуск javascript в php
    #37948104
Фотография Ренат
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkleПрограмёркак можно выйти из положенияВариантов вижу несколько.
1. Обратиться к владельцу сайта и договориться с ним о продаже или передаче контента.
2. Обрабатывать сайт в настоящем браузере. Вполне будет работать до следующей волны противодействия таким как Вы - попросят иногда ввести капчу, подвинуть зеленый треугольник и т.п.
еще ужасный есть вариант Selenium. Если вам не жалко ресурсов сервера и вы можете дать пользователю подождать (и сервер нагрузить на пару секунд) то этот вариант ваш. Грубо говаря вы им посылаете запросы в браузер, который на сервере откроет и выполнит любой js скрипт
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / запуск javascript в php
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]