Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Парсер сайта / 8 сообщений из 8, страница 1 из 1
21.09.2016, 11:31
    #39312545
Fedor32
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
Подскажите, как правильно получить html страницы http://goskatalog.ru/portal/#/collections?museumIds=1668
Там каталог отображается скриптом, при парсинге получаю текст макета, а сам каталог не вижу. Нужно выбрать экспонаты
...
Рейтинг: 0 / 0
21.09.2016, 11:47
    #39312561
Sidmal
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
Fedor32,

Если не разжевывать, то вам помогу:
понимание REST-архитектуры

умение пользоваться консолью браузера
...
Рейтинг: 0 / 0
21.09.2016, 14:20
    #39312709
Fedor32
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
Да в консоли то я вижу, мне нужно с помощью PHP регулярно переносить в свою базу сведения об этих экспонатах
...
Рейтинг: 0 / 0
21.09.2016, 15:10
    #39312757
Изопропил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
Fedor32Да в консоли то я вижу, мне нужно с помощью PHP регулярно переносить в свою базу сведения об этих экспонатах
тогда придётся аккуратно вытаскивать с сервера данные так же как это делает javascript на странице

то первого изменения протокола...
...
Рейтинг: 0 / 0
22.09.2016, 19:43
    #39313722
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
Fedor32,

Подозреваю что каталог аджаксом вытягивают!? тогда дело усложняется! так как PHP вытягивает код который сервер отдаётся сервером браузеру. JS на этом этапе работать ещё не начал!! ((
...
Рейтинг: 0 / 0
19.10.2016, 00:36
    #39329438
Програмёр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
AreostarFedor32,

Подозреваю что каталог аджаксом вытягивают!? тогда дело усложняется! так как PHP вытягивает код который сервер отдаётся сервером браузеру. JS на этом этапе работать ещё не начал!! ((

Дак в этом и суть, что вместо парсинга страницы можно просто дать прямой запрос на скрипт, который возвращает нужную информацию в виде json массива.

Напрягают только кода в куках, но curl умеет с куками работать (если вдруг это защита от кражи информации). Но если это защита, то обсуждение её обхода, если не ошибаюсь, противоречит правилам форума :) Тогда уж сами думайте как с этим бороться...
...
Рейтинг: 0 / 0
19.10.2016, 00:40
    #39329439
Изопропил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
хера там подозревать - если разуть глаза - легко увидеть, что сайт на агуляре сделан
...
Рейтинг: 0 / 0
19.10.2016, 00:46
    #39329440
Изопропил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Парсер сайта
Angular естественно.

ЗЫ на этом сайте отредактировать сообщение видимо нельзя будет никогда.
а особо одарённые доказывают, что это не бага, а охрененная фича
...
Рейтинг: 0 / 0
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Парсер сайта / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]