Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Сохранение страниц в web.archive.org / 4 сообщений из 4, страница 1 из 1
16.11.2017, 09:26:17
    #39554055
NovaC
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сохранение страниц в web.archive.org
Программа по списку сохраняет страницы сайта cian.ru на ресурсе web.archive.org путем выполнения GET запроса:
http://web.archive.org/save/ссылка_на_сохраняемую_страницу

После n-ой страницы cian.ru предлагает ввести рекапчу.
Капчу можно разгадать через сервис антикапчи.
На cian.ru ответ на капчу нужно отправить POST запросом:
https://www.cian.ru/captcha/?redirect_url=https://www.cian.ru/
g-recaptcha-response=[расшифровка капчи]&redirect_url=https://www.cian.ru/

Вопрос в том как отправить расшифровку капчи на cian.ru через web.archive.org, чтобы программа могла дальше продолжить сохранение страниц?

Спасибо!
...
Рейтинг: 0 / 0
17.11.2017, 12:46:02
    #39555031
NovaC
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сохранение страниц в web.archive.org
Немного дополню вопрос:
"Руками" это сделать не получается, т.е. при появлении капчи cian возвращает HTTP 302... и web.archive.org переходит с требуемой страницы на страницу с капчей вот такого вида
https://www.cian.ru/captcha/?redirect_url=https://www.cian.ru/
но руками вести эту капчу когда она открывается через web.archive.org не получается т.к. она в этом случае отображается не корректно, вот так:
http://web.archive.org/save/https://www.cian.ru/captcha/?redirect_url=https://www.cian.ru/

поймать момент и отгадать капчу не проблема. Вопрос в том как отправить разгаданную капчу в cian.ru через web.archive.org?
Проблема в том что web.archive.org работает с сохраняемыми сайтами через GET запросы а капча отправляется на cian.ru POST запросом.
Т.е. возможно есть способ искуственно передать POST запрос в GET запросе т.е. так чтобы cian.ru "поверил" что web.archive.org разгадал капчу

как-то так ...
...
Рейтинг: 0 / 0
17.11.2017, 13:45:19
    #39555067
Сохранение страниц в web.archive.org
NovaC,

а при чем здесь Delphi? Через TWebbrowser что-ли работаете?
...
Рейтинг: 0 / 0
17.11.2017, 16:11:01
    #39555188
Сохранение страниц в web.archive.org
Может уменьшить скорость с которой сохраняете страницы? Если web.arhive.org не умеет слать POST запросы, то скорее всего никак. Лучше обратитесь в web.arhive.org, возможно они подскажут как через их сервис можно сохранять такие сайты или как слать POST запросы.
...
Рейтинг: 0 / 0
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Сохранение страниц в web.archive.org / 4 сообщений из 4, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]