|
|
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
Доброго времени суток. Есть сайт (локальный), нужно с него парсить данные (каждый 0,5-1 час) и сохранять в базу. Из базы данные перерабатываются и выводятся на внешний сайт. Знаю html и немного javascript. Никогда не парсил, полный ноль в sql, но готов обучиться. Направьте в нужном направлении, ткните носом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2013, 04:29:12 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
dobrohod, не надо парсить, а тем более "локальный" сайт. Это занятие идиотов, поскольку "локальный сайт" показывает только локальные данные. Возьмите данные и залейте их куда вам надо напрямую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2013, 08:27:29 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
Arhat109, Уважаемый, если было бы все так просто, я бы сюда не писал. Все данные сайта вместе с веб-сервером зашиты в контроллере машины (оборудования). В сам контроллер лезть нет никакого желания и возможности, если там что то вывести из строя, то это полный пэ. Вызов спеца из Италии будет стоить больших лавандосов. Теперь хотелось бы услышать адекватных предложений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2013, 17:08:04 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
dobrohod, Экселем попробуй открыть свою лок.ссылку - если будет в "удобоваримом" виде, - считай повезло, пишешь на чём нибудь "приблуду" (хоть на своём javascript), которая будет Эксель формировать и закачивать на серер - если не очень "удобоваримо", но "сносно" - через автоматизацию Экселя, в в той же "приблуде" , доводишь до нужного вида - если совсем всё плохо - "ты попал". т.е варианты всё равно есть, через ту же автоматизацию - искать по MSXML2.XMLHTTP , MSXML2.DOMDocument и ещё много чего разного, но универсального "рецепта" - нет зы всё это не имеет ни какого отношения к СКЛ - вообще, и к МуСКЛ - в частности ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2013, 17:34:13 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
qwerty112, спасибо, попробую в sqle я бы хотел хранить данные, т.к инфа немного корявой будет приходить и для дальнейшей статистики ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2013, 17:59:57 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
dobrohodЕсть сайт (локальный), нужно с него парсить данные (каждый 0,5-1 час) и сохранять в базу. Из базы данные перерабатываются и выводятся на внешний сайт. В первом приближении - прокси (апачевский mod_proxy, например). Но он сам по себе ничего не преобразует, просто отдает то что прислали. Вариант самый простейший, но не факт что подойдет Вам. Далее - есть проги вроде curl или wget для скачивания странички и сохранения контента в файл. Чем-то (скриптом?) что-то там преобразовываете и отдаете файл вебсерверу на раздачу. Попутно выдираете данные для записи в БД. Запуск скрипта на крон повесить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2013, 18:43:34 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
vkle, покалдую пока с этим потом будут вопросы как в бд это сунуть ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.08.2013, 23:57:59 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
dobrohod, MySQL тут ни причем, он ходить по сайтам не умеет, а парсить умеет крайне плохо. На каком языке будете реализовывать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.08.2013, 10:06:41 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
dobrohod, Как вам уже написали, Мускуль тут совсем "не при делах". Наиболее адекватный совет: обратитесь к поставщику оборудования. Если он это "зашил", значит или поделом или знает КАК достать по-другому. Опять же "парсить сайт" - незачем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.08.2013, 14:58:56 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
"И сохранять в базу" звучит как "и немедленно выпил". Думаю тут можно подгрести ИЕ и WScript. Базу сделаете в абсцессе или в екзеле. Проблема в том что вскриптом придется натурально парсить хтмл. С другой стороны есть ФФ и Greasemonkey, с которым ничего парсить не надо - получаете доступ ко всему ДОМу и всем переменным если таковые имеются. Но сохраняться локально с него можно только через одно место - локал стораж, или тупо в настройки ФФ, а оттуда уже вручную. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2013, 06:00:03 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
Сайт у них локальный, понимаешь. Это называется веб-интерфейс. Вы ж не говорите про настройки роутера - это локальный сайт. Потому что это веб-интерфейс настроек роутера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2013, 06:02:18 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
Я НОВИЧЕК - НЕ ПИНАТЬ ЕСЛИ ДУМАЮ НЕ ПРАВИЛЬНО! :) локальный сайт.. Он статический только HTML или динамический PHP+MySQL+HTML? 1. Если второе - то в консоли работать с выборкой и дублированием данных в другую БД, он ведь все равно держит эту БД локально, хотя если она локальна - тогда отпадает смысл парсить, так как к ней есть открытый доступ.... накрайний по такому принципу duplicate.bat : Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 2. Если первое (с опыта парса онлайн ресурсов, так как все равно нам доступен только голый HTML) то я делал так: Borland Delphi с IdHTTP, формировал ссылки страниц которые меня интересовали, грузил их содержимое в Мемо. Анализировал содержимое, искал ту комбинацию тегов, которая могла бы идентифицировать начало интересующей меня области (напр. таблицы) и конце (где уже описывался подвал сайта), Было Примерно так var sart_exp,end_exp:string; start_str,end_str:int //Через IdHTTP1 GET грузим содержание страницы в Мемо1 For i=0 to Memo1.Lines.Count do begin if pos(start,Memo1.Lines.String[i])<>0 then start_str:=i+6; //где 6 - количество строк от идентифицирующей области //которые нужно пропустить, например для того чтобы //пропустить 6 строк отведенных на рекламу (или на то что нас отделяет от области парса) //это будет номер строки с первым элементом для парса if pos(end,Memo1.Lines.String[i])<>0 then end_str:=i-8; //это будет номером строки последнего елемента break; end; for i:=start_int to end int do begin //описываем алгоритм разбора строки и записывем рузльтат в Мемо2 в стиле COMMA SEPARATED VALUE end; //Все что выше понятно что находиться еще в одном цикле который генерирует StringList с набором ссылок по которым нужно пробежаться. //Сохранаяем Мемо2 в my.csv Код: sql 1. 2. 3. надеюсь как минимум моя субъективная идея понятна ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2013, 11:34:05 |
|
||
|
Парсить сайт HTML и сохранять в sql
|
|||
|---|---|---|---|
|
#18+
lnkerЯ НОВИЧЕК - НЕ ПИНАТЬ ЕСЛИ ДУМАЮ НЕ ПРАВИЛЬНО! :) локальный сайт.. Он статический только HTML или динамический PHP+MySQL+HTML?Вы бы хоть читали внимательно...dobrohodВсе данные сайта вместе с веб-сервером зашиты в контроллере машины (оборудования). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2013, 12:00:37 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=38354373&tid=1836304]: |
0ms |
get settings: |
8ms |
get forum list: |
18ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
59ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 228ms |
| total: | 380ms |

| 0 / 0 |
