ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / CURL HTTPS
23 сообщений из 23, страница 1 из 1
CURL HTTPS
    #38858021
Жеrя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Жеrя
Участник
Добрый день, форумчане!
Совсем недавно начал разбираться с получение контента с сайта.. При этом использовал file_get_contents($href)... Потом выяснилось, что есть более гибкий механизм получения контента средствами CURL.

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $href2);
curl_setopt ($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0");
curl_setopt ($ch, CURLOPT_TIMEOUT, 60);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$content = curl_exec($ch);
curl_setopt($ch, CURLOPT_URL, $href);
$content = curl_exec($ch);
curl_close($ch);



Данный код замечательно отрабатывает, вот только столкнулся с сайтом, который мне в одиночку никак не одолеть https://b2b.nowystyl.ua/.
Подскажите, пожалуйста, куда копать и как настроить Curl для того что бы получить контент, например, со страницы
https://b2b.nowystyl.ua/office-furniture/staff-office/staff-office-megan.html
Тут я ещё заметил хитрость, что сайт запоминает параметры пользователя (браузер и возможно другие) и если ты меняешь браузер то страница выкидывается на стартовую.
Буду признателен за любую помощь.
Спасибо.
...
Рейтинг: 0 / 0
20.01.2015, 04:00
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38858220
Фотография SmeL_md
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SmeL_md
Участник
Наверно там любители referer
...
Рейтинг: 0 / 0
20.01.2015, 11:00
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38858302
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
ЖеrяБуду признателен за любую помощь.
Спасибо.Обратиться к владельцу ресурса и получить необходимый контент из первых рук.
А воровать - нехорошо.
...
Рейтинг: 0 / 0
20.01.2015, 11:50
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38858968
Жеrя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Жеrя
Участник
Причём тут воровать? Это сайт поставщика и мне очень удобно было бы обновлять цены (учитывая что сейчас цены меняются каждые два дня.). Не судите других по себе.
...
Рейтинг: 0 / 0
20.01.2015, 22:07
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38858984
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Изопропил
Участник
ЖеrяЭто сайт поставщика и мне очень удобно было бы обновлять цены
мож у него нормальный API есть?
...
Рейтинг: 0 / 0
20.01.2015, 22:24
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859020
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
ЖеrяЭто сайт поставщикаТем более, нет никакого смысла тягать кучу страниц, нагружая его сервер, да парсить полученное, нагружая свой, когда можно по договорённости написать на его стороне скрипт отдачи и забрать всё необходимое одним файлом. Или, как написали выше, использовать готовый API, если таковой имеется.

Существующий же движок сайта, судя по Вашему описанию его поведения, явно не хочет видеть у себя ботов. Потому придётся для него реализовывать достаточно реалистичное поведение типичного веб-браузера, как минимум, с запоминанием куков. Возможно, придётся добавить отдачу реферера и нормальную строку агента. Попадаются и более хитрые способы отсева ботов. Потом можно нарваться на ограничение запросов в единицу времени и бан по айпи. Я не собираюсь пугать, всего лишь перечислил типовые проблемы, с которыми сталкиваются желающие парсить таким образом чужие сайты. Если интересно идти по этому сложному пути, пошарьте поиском по форуму - куча подобных тем была уже, да и решения там найдёте какие-то.
...
Рейтинг: 0 / 0
20.01.2015, 23:14
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859021
Жеrя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Жеrя
Участник
Не так всё просто и где вы видели что бы такого рода предоставляли информацию... Я даже запрос отправлять не буду))
...
Рейтинг: 0 / 0
20.01.2015, 23:15
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859023
Жеrя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Жеrя
Участник
vkle,

спасибо и за это.
...
Рейтинг: 0 / 0
20.01.2015, 23:17
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859030
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Жеrягде вы видели что бы такого рода предоставляли информацию...Вы не поверите, но иногда владельцы сайтов, находящихся у нас на поддержке, просят сделать подобное :-)

Да, типичный и весьма распространённый пример - экспорт товаров в Яндекс-Маркет. Посмотрите сколько там сайтов зарегистрировано - и все они поставляют информацию о товарах и ценах.
...
Рейтинг: 0 / 0
20.01.2015, 23:20
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859042
Жеrя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Жеrя
Участник
vkle,

Вы просто не знает этого поставщика... Они делают только то что считают они нужным... Неужели вы думаете, что мне стожно попросить у них прайс и всё от туда вытащит. Если у меня появилась такая задача, значит на то есть причина.
...
Рейтинг: 0 / 0
20.01.2015, 23:36
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859056
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Жеrя,

Странный у Вас поставщик, конечно. Как будто не заинтересован в сбыте товара. Ну да тут ему виднее...
...
Рейтинг: 0 / 0
20.01.2015, 23:47
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859057
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Жеrяхитрость, что сайт запоминает параметры пользователя (браузер и возможно другие) и если ты меняешь браузер то страница выкидывается на стартовую.Кука is_redirected_to_website, насколько я понимаю.

Жеrягде вы видели что бы такого рода предоставляли информацию...Почти каждый день вижу. Либо грузятся свежие прайс-листы от поставщиков, либо, наоборот, выгружаются для покупателей. Причем не только прайс-листы, но и кроссы, фотографии, описания товара и т.п.
...
Рейтинг: 0 / 0
20.01.2015, 23:47
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38859107
Жеrя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Жеrя
Участник
Тема закрыта. Всем спасибо. Разобрался.
...
Рейтинг: 0 / 0
21.01.2015, 02:23
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38860487
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
Жеrя,

тоесть ты понимаешь что они не хотят предоставлять такую информацию. и как тогда называется твои действия как не воровство.
...
Рейтинг: 0 / 0
22.01.2015, 12:00
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38860522
Фотография SmeL_md
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SmeL_md
Участник
alex564657498765453Жеrя,

тоесть ты понимаешь что они не хотят предоставлять такую информацию. и как тогда называется твои действия как не воровство.Нашли вора ;), вот вам ситуация говорит он поставщику дайте мне API мне на форуме подсказали буду от вас парайсы качать. Поставщик какие еще API нам сайт сделал alex564657498765454 и хорошо что вообще работает, чуть изменишь все рушиться, исправлять ничего не будем хочешь по телефону тебе будем цены говорить :)
...
Рейтинг: 0 / 0
22.01.2015, 12:21
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861050
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
SmeL_mdalex564657498765453Жеrя,

тоесть ты понимаешь что они не хотят предоставлять такую информацию. и как тогда называется твои действия как не воровство.Нашли вора ;), вот вам ситуация говорит он поставщику дайте мне API мне на форуме подсказали буду от вас парайсы качать. Поставщик какие еще API нам сайт сделал alex564657498765454 и хорошо что вообще работает, чуть изменишь все рушиться, исправлять ничего не будем хочешь по телефону тебе будем цены говорить :)

для тех кто невнимательно читает ветку, а только отдельное сообщение.

ЖеrяНе так всё просто и где вы видели что бы такого рода предоставляли информацию... Я даже запрос отправлять не буду))

ЖеrяПричём тут воровать? Это сайт поставщика и мне очень удобно было бы обновлять цены (учитывая что сейчас цены меняются каждые два дня.). Не судите других по себе.

мой пост, это подитожил два ответа ТС.
он говорит, что это не воровство, и одновременно, что поставщик такого роду информацию не предоставляет.

если владелец сайта не хочет, что бы какимто образом какаято информация попадала к другим, то получение её другими этим способом и вообщето называеться воровством.

если я на сайте просто написал, нехочу чтобы перепечатывали, цитировали мою мысль, то цитирование её уже есть кража интелектуальной собственности.

если я выкладываю рассценки и не хочу и даю это понять, чтобы мои прайсы использовались в других системах по обработке и хранению информации, то запихивание её туда - это кража.

понимаешь? что то тс хочет сделать, это именно кража, другое дело, что юридически за это нет ответсвенности, ибо у нас не щитается наказуемой кража информации, если ты её по факту стырил и никто не знает, чтоб ты её гдето применил.
...
Рейтинг: 0 / 0
22.01.2015, 18:50
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861111
Фотография SmeL_md
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SmeL_md
Участник
alex564657498765453,

Жегя вообще не имеет право заходить на сайт и смотреть цены поставщика, т.к. он может использовать эти данные в своем ценообразовании? Поставщик тоже хитрец оставил цены на свою товары без присмотра, и тем самым провоцирует преступление ( наврятли его цель была продвижение продукции ) .

никто не рассматривает
• что поставщик возможно рад, что его товар продвигают посредники
• что поставщик возможно не имеет другой возможности оповестить о своих ценах кроме как на сайте
а лепить клеймо вор, не поленились.
...
Рейтинг: 0 / 0
22.01.2015, 19:29
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861174
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
SmeL_mdникто не рассматривает
• что поставщик возможно рад, что его товар продвигают посредники
• что поставщик возможно не имеет другой возможности оповестить о своих ценах кроме как на сайтеОтчего же? ТС русским по белому написал:
ЖеrяВы просто не знает этого поставщика... Они делают только то что считают они нужным..Так понимаю, поставщик не считает нужным делать какую-то степень автоматизации для отдачи прайсов и не собирается поставлять информацию (прайсы) в удобоваримом виде. Как бы оно странным ни показалось в условиях нынешнего рынка, не нам обсуждать политику ведения бизнеса поставщика.


SmeL_mdа лепить клеймо вор, не поленились.Пока что говорилось только о сграбливании контента чужого сайта как о воровстве. Увы, сие явление имеет место быть жизни и обсуждение/решение способов реализации оного противоречит правилам данного форума. Собственно, потому в этом направлении тема и не развивается (а будет развиваться - закрою топик на правах модератора). Теперь, касаемо цитаты. Вы же первый в этом топике, кто использовал слово "вор" в отношении конкретного участника форума. В остальных постах была речь только о воровстве. Так и... кто же клеймил? ;-) Не хочется использовать модераторский тег, но, хочу Вас, SmeL_md , попросить быть аккуратнее в высказываниях.
...
Рейтинг: 0 / 0
22.01.2015, 21:12
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861216
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
vkleУвы, сие явление имеет место быть жизни и обсуждение/решение способов реализации оного противоречит правилам данного форума.Я бы не был так уверен. Например, у нас неоднократно происходят ситуации, когда поставщики говорят "у нас на сайте все есть, берите оттуда все, что нужно, а выгрузить прайс-лист мы вам не можем - у нас нет на это it-шников" (или фирма крохотная, а сайт делал сын директора, или, наоборот, фирма большая и простому менеджеру-продажнику слишком сложно достучаться до it-шников и договориться о каких-то выгрузках).
...
Рейтинг: 0 / 0
22.01.2015, 22:20
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861261
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
miksoft,

Ну не знаю... Когда хотят поделиться прайсом, не связываясь с разработкой API - тогда просто выкладывают прайс для скачивания в привычном екселевском формате. На мой взгляд, это самый простой и понятный способ, который вряд ли утратит актуальность в обозримом будущем. Не такая уж это неразрешимая проблема, решается в простейшем случае где то на уровне создания отдельной странички на сайте.
...
Рейтинг: 0 / 0
23.01.2015, 00:03
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861279
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
vklemiksoft,

Ну не знаю... Когда хотят поделиться прайсом, не связываясь с разработкой API - тогда просто выкладывают прайс для скачивания в привычном екселевском формате. На мой взгляд, это самый простой и понятный способ, который вряд ли утратит актуальность в обозримом будущем. Не такая уж это неразрешимая проблема, решается в простейшем случае где то на уровне создания отдельной странички на сайте.В 90-95% случаев так и есть. Но когда поставщиков сотни, оставшиеся 5% доставляют немало хлопот. А послать нельзя, ибо это не в компетенции it-отдела. Хотя пару раз было, что из-за этого расставались с поставщиками.
...
Рейтинг: 0 / 0
23.01.2015, 00:32
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861300
Жеrя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Жеrя
Участник
Всё верно, такая задача появилась именно из-за того, что поставщиков много, а цены меняются очень часто. Сам поставщик не успевает менять цены в своих прайсах xls и первым делом делает это на сайте. Почитал выше... Воровство? Ну, у каждого своё мнение по этому поводу... Отметить хотелось бы только то, что воровство, это когда отнимают, а не помогают реализовывать продукцию в столь тяжёлых рыночных и экономических условиях.
...
Рейтинг: 0 / 0
23.01.2015, 02:46
| Ответить | Цитировать | Написать  
CURL HTTPS
    #38861369
Barlone
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Barlone
Участник
Парсить сайт - плохая идея. Это годится, чтобы разово сграбить. А для постоянного использования негодно - может перестать работать в любой момент.
...
Рейтинг: 0 / 0
23.01.2015, 09:03
| Ответить | Цитировать | Написать  
23 сообщений из 23, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / CURL HTTPS
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]