Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / HTML, JavaScript, VBScript, CSS [игнор отключен] [закрыт для гостей] / Как спарсить подсказки / 19 сообщений из 19, страница 1 из 1
18.04.2017, 00:11
    #39439899
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
Здравствуйте, не могу сообразить, как можно спарсить выпадающие подсказки при вводе слов в поле input type="search". Вот этот сайт упирается) — тыц
...
Рейтинг: 0 / 0
18.04.2017, 00:38
    #39439903
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
А чего их парсить то... В сетевой активности видно же запрос к серверу. В параметре q начало слова, в ответе JSON с вариантами приходит.
Код: sql
1.
https://www.shutterstock.com/api/autocomplete?q=%D1%84%D0%BE&mediaType=image&_=1492464956980


{"status":200,"data":{"size":10,"autocompletions":[{"pattern":"фото","probability":0.04377219952924052},{"pattern":"фонтан","probability":0.03804218406276172},{"pattern":"фоновые изображения","probability":0.030847332090727347},{"pattern":"фотоаппарат","probability":0.028736262710856164},{"pattern":"фонарь","probability":0.026409782372879775},{"pattern":"фотограф","probability":0.01809473043303808},{"pattern":"фонтаны","probability":0.01753468293718464},{"pattern":"фонари","probability":0.016457628146658614},{"pattern":"фото обои","probability":0.014044962430220055},{"pattern":"фотографировать","probability":0.013010947840874896}]}}
...
Рейтинг: 0 / 0
18.04.2017, 00:51
    #39439905
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
Вы какое слово вводили?
...
Рейтинг: 0 / 0
18.04.2017, 01:01
    #39439908
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
Всё здорово, только если руками вводить) Как это автоматизировать?
...
Рейтинг: 0 / 0
18.04.2017, 08:26
    #39439950
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejk, что конкретно автоматизировать?
...
Рейтинг: 0 / 0
18.04.2017, 09:02
    #39439974
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejkВы какое слово вводили?Буквы "фо" (начало слова "фото").
...
Рейтинг: 0 / 0
18.04.2017, 10:25
    #39440041
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejkВсё здорово, только если руками вводить) Как это автоматизировать?

в коде страницы этого нет. так что боюсь что ни как!! Если только в браузер влесть(типо расширения) но тут я не уверен
...
Рейтинг: 0 / 0
18.04.2017, 10:46
    #39440055
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
skyANAandrejk, что конкретно автоматизировать?
Парсинг этих подсказок для некоторых слов. Запрос-то, виден в dev tool и данные приходят в json, но только с их страницы. Может, как-то напрямую запросы им отправлять? Не знаю как… Уже до Selenium-а добрался. )
...
Рейтинг: 0 / 0
18.04.2017, 11:00
    #39440063
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejk,

А чё, не видать куда уходят запросы?
...
Рейтинг: 0 / 0
18.04.2017, 12:10
    #39440129
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
hVosttandrejk,

А чё, не видать куда уходят запросы?
Видать, и что мне с этим делать? Я же не могу скрипт запустить, если в адресной строке не их адрес. Или я чего-то не знаю? Как мне в цикле получить данные сразу по нескольким словам, чтоб руками не вводить?
...
Рейтинг: 0 / 0
18.04.2017, 12:27
    #39440144
carrotik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejk,

.. curl ?
...
Рейтинг: 0 / 0
18.04.2017, 12:49
    #39440163
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejkhVosttandrejk,

А чё, не видать куда уходят запросы?
Видать, и что мне с этим делать? Я же не могу скрипт запустить, если в адресной строке не их адрес. Или я чего-то не знаю? Как мне в цикле получить данные сразу по нескольким словам, чтоб руками не вводить?
Какой скрипт? Клиентский сценарий? Дык с сервера опрашивайте.

Вы бы задачу толком описали :) А то что такое "Парсинг этих подсказок для некоторых слов" и на фига оно нужно мне до конца не понятно.
...
Рейтинг: 0 / 0
18.04.2017, 19:40
    #39440468
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejkВидать, и что мне с этим делать? Я же не могу скрипт запустить, если в адресной строке не их адрес. Или я чего-то не знаю?С чего вдруг? Выше постил ссылку. Не открывается в браузере?


andrejkКак мне в цикле получить данные сразу по нескольким словам, чтоб руками не вводить?Эммм... Часть слова для подсказки подставить в параметр q (см. тот же пост выше). Ну да, в цикле по всем вашим заранее приготовленным словам. Пока не забанят, конечно.



skyANAВы бы задачу толком описали :) А то что такое "Парсинг этих подсказок для некоторых слов" и на фига оно нужно мне до конца не понятно.+100500
...
Рейтинг: 0 / 0
18.04.2017, 22:51
    #39440527
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
carrotikandrejk,

.. curl ?

Попробовал, вроде получается…
...
Рейтинг: 0 / 0
18.04.2017, 23:00
    #39440533
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
skyANAКакой скрипт? Клиентский сценарий? Дык с сервера опрашивайте.

Вы бы задачу толком описали :) А то что такое "Парсинг этих подсказок для некоторых слов" и на фига оно нужно мне до конца не понятно.
Я имел ввиду, что когда я на их сайте, то на своей стороне не сообразил, как свой скрипт запускать, чтобы он к их сайту обращался. Думал сначала, как свой скрипт на их страницу внедрить, чтобы он в цикле заполнял поле и получал подсказки. Но это прошлое, не туда думал)
Даже не парсинг, а просто получение подсказок, т. к. ничего другого не делается, отличного от ручного ввода, просто автоматизируется, разумеется, с адекватными интервалами.
...
Рейтинг: 0 / 0
18.04.2017, 23:01
    #39440535
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
andrejk,

Начинающий дата-майнер
...
Рейтинг: 0 / 0
18.04.2017, 23:13
    #39440543
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
автори на фига оно нужно мне до конца не понятно
seo?
...
Рейтинг: 0 / 0
18.04.2017, 23:14
    #39440545
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
hVosttandrejk,

Начинающий дата-майнер
Кто это такие?
...
Рейтинг: 0 / 0
18.04.2017, 23:19
    #39440547
Serzh007
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как спарсить подсказки
Уже поинтересовался. Да, мне нравится восстанавливать чужие алгоритмы по внешним признакам, но только, если мне это надо. Поэтому, я всегда буду начинающим, т. к. это страсть моего ума, а не профдеятельность. Я просто получаю от этого удовольствие с практической пользой.
...
Рейтинг: 0 / 0
Форумы / HTML, JavaScript, VBScript, CSS [игнор отключен] [закрыт для гостей] / Как спарсить подсказки / 19 сообщений из 19, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]