ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Обоснование методологии получения данных с сайтов
12 сообщений из 12, страница 1 из 1
Обоснование методологии получения данных с сайтов
    #39141878
baza906
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
baza906
Участник
Добрый день!
Есть у кого - либо мысли по поводу того, бывают ли ситуации, когда не стоит использовать парсинг сайтов средствами языков веб-программирования (python или php), а следует попытаться договориться с владельцами данных о предоставлении данных в формате csv или xml? При том, что речь не идет о пользовательской активности на сайтах, а только об анализе его содержимого.
Возможно, есть какие то еще варианты?
...
Рейтинг: 0 / 0
04.01.2016, 11:08
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142115
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредятина
Участник
baza906,
Нужно определиться, что такое "сайт". Статические страницы? Интерфейс к базе данных?
Что парсить?
...
Рейтинг: 0 / 0
04.01.2016, 20:15
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142116
t0lix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
t0lix
Участник
baza906бывают ли ситуации, когда не стоит использовать парсинг сайтов средствами языков веб-программирования (python или php), а следует попытаться договориться с владельцами данных о предоставлении данных в формате csv или xml?
бывают
например, когда ты тянешь инфу, а там админ смотрит на трафик, и банит твой айпи, в подозрении на ddos
...
Рейтинг: 0 / 0
04.01.2016, 20:19
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142133
Злой Бобр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Злой Бобр
Участник
baza906,

Бывают. И если есть возможность то стоит всегда договариваться, даже если можно парсить.
...
Рейтинг: 0 / 0
04.01.2016, 21:12
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142309
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
baza906Добрый день!
Есть у кого - либо мысли по поводу того, бывают ли ситуации, когда не стоит использовать парсинг сайтов средствами языков веб-программирования (python или php), а следует попытаться договориться с владельцами данных о предоставлении данных в формате csv или xml? При том, что речь не идет о пользовательской активности на сайтах, а только об анализе его содержимого.
Возможно, есть какие то еще варианты?

Лучше договориться, ибо ваша активность и есть DDOS ;-)
...
Рейтинг: 0 / 0
05.01.2016, 11:59
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142623
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
skyANA
Участник
baza906,

обоснования кому надо предоставить, руководству?
...
Рейтинг: 0 / 0
06.01.2016, 10:35
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142995
baza906
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
baza906
Участник
Бредятина, статические страницы. Просто получение цифр из нужного участка html-кода
...
Рейтинг: 0 / 0
07.01.2016, 12:47
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142997
baza906
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
baza906
Участник
skyANA, пока себе. Планирую сделать сделать парсинг нескольких сайтов в тестовом режиме, а потом уже думать о применении к конкретной задаче, которая имеется.
...
Рейтинг: 0 / 0
07.01.2016, 12:50
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142998
baza906
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
baza906
Участник
mad_nazgul, спасибо
...
Рейтинг: 0 / 0
07.01.2016, 12:53
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39142999
baza906
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
baza906
Участник
t0lix, спасибо
...
Рейтинг: 0 / 0
07.01.2016, 12:53
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39143000
baza906
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
baza906
Участник
Злой Бобр, спасибо большое.
...
Рейтинг: 0 / 0
07.01.2016, 12:54
| Ответить | Цитировать | Написать  
Обоснование методологии получения данных с сайтов
    #39143470
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бредятина
Участник
baza906Бредятина, статические страницы. Просто получение цифр из нужного участка html-кода
На статических страницах не может быть никаких цифр. Как, впрочем, и букв. Если они там оказались из-за ошибки разработчиков, то, конечно, придется договариваться)) Или, наоборот, нет смысла договариваться))
...
Рейтинг: 0 / 0
08.01.2016, 17:57
| Ответить | Цитировать | Написать  
12 сообщений из 12, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Обоснование методологии получения данных с сайтов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=32&fpage=17&tid=1540408]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 37ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 2ms
others: 12ms
total:  145ms
созд. / загр.: 145ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]