Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
Доброго времени суток! Вводные: Три дня назад технари в алиэкспрессе отрубили старое API никого заранее не предупредив. В итоге несколько сайтов теряют позиции, т.к. для роутинга используются категории и характеристики товара. Хотел спарсить данные о категории товара с алиэкспресса (с карточки товара), Воспользовался cURL'ом : Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. на что сервак отдает такое: Код: php 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. не совсем понял, как? - Location: http://sec.aliexpress.com/query.htm?smApp=aedetail&smPolicy=aedetail-detail_item-anti_Spider-htmlrewrite-checklogin Ведь аналогичный запрос скажем в режиме инкогнито такой Location не отдает . проверил с помощью Postman - тоже все ок.. Или cURL как-то палица? посоветуйте, куда копать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2016, 01:39 |
|
||
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
Винт_87 Код: php 1. Не знаю, в этом ли причина, но я бы на месте веб-сервера в такое не поверил бы :) Попробуйте на более низком уровне посмотреть что реально передается и сравнить с браузером. Хоть даже Wireshark-ом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2016, 02:24 |
|
||
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
miksoft , спасибо. Инструмент себе в коллекцию заберу, пригодится. miksoft Не знаю, в этом ли причина причина оказалась не в том - просто у ребят из Китая есть списки IP хост провайдеров и собственно что с Digital Ocean , что с отечественного Sprinthost - срубают запросы. при том запрос с localhost нормально проходит. вот такая заковыка. Пока ломаю голову как это обойти. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2016, 12:15 |
|
||
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
Чего тут голову ломать - прокси. Только не из общедоступных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2016, 14:36 |
|
||
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
vkle, с проксями получилось, но не надолго. купил пробную партию, но не один не подошел, на все отдавалась капча. накатал скрипт который бы тестировал списки бесплатных прокси и оставлял только те, что отдают нормальный контент. но проблема остается - 20 прокси из "белого" списка улетели в бан за ночь. я так не напасусь прокси.. посещаемость в среднем 500 в сутки.. данные хранятся в мемкеше и тянуться с али только если нет в кеше. Может есть еще идеи? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.06.2016, 02:34 |
|
||
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
Винт_87, Есть. Имитировать поведение браузера и посетителя сайта более точно. Или использовать настоящий браузер. "На том конце" не дураки же сайт поддерживают, приняли необходимые меры против ботов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.06.2016, 09:13 |
|
||
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
Винт_87Может есть еще идеи? ознакомится с лицензионным соглашением ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.06.2016, 09:16 |
|
||
|
cURL. что-то меня выдает)
|
|||
|---|---|---|---|
|
#18+
Изопропилознакомится с лицензионным соглашением Спасибо, ждал этого совета vkle"На том конце" не дураки же сайт поддерживают Согласен, не дураки) vkleИмитировать поведение браузера и посетителя сайта более точно Попробую, спасибо. Видимо есть ifram'ы или скрипты которые проставляют доп.кукисы или что нибудь в этом ключе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.06.2016, 21:13 |
|
||
|
|

start [/forum/topic.php?fid=23&msg=39263331&tid=1461014]: |
0ms |
get settings: |
11ms |
get forum list: |
20ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
73ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
2ms |
| others: | 263ms |
| total: | 453ms |

| 0 / 0 |
