|
|
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
Всем привет) Работаю я сейчас над написанием парсеров товаров, которій сразу пишет все в базу. Обычный мюскюл_коннект и мюскул_квайри. открываю коннект -> в цикле обрабатываю данные и пишу в базу -> по завершению работы закрываю коннект. Почему так. Товаров много и каждый раз открывая закрывая коннект я какимТо образом может "перенапрягаю" процесс. Так это или нет? И еще заметил, скорее это изза открытого коннекта, или, я не знаю: когда я останавливаю скрипт в окне браузера база продолжает наполняться данными. Что это может быть и как с ним бороться подскажите Заранее благодарен ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 02:01 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
Kostik_Kostik, То, что ты тыришь откуда-то товары понятно. А вопрос в чем заключался? Если в принципе обработки, то можно не дергать каждый раз в цикле базу, а обработав какую-то часть, сформировать запрос на вставку данных, выполнить запрос и перейти к следующему куску данных. В принципе так и работают потоковые парсеры. Если ты обрабатываешь здоровенный XML(~100 M) к примеру, то никаких ресурсов не хватит весь файл распарсить сразу, читается по частям, разбирается, потом записывается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 03:49 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
Kostik_Kostikкаждый раз открывая закрывая коннект я какимТо образом может "перенапрягаю" процесс. Так это или нет?Да. Вообще, вполне нормально когда открытый коннект висит часами. В пуле, разумеется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 08:25 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
vkleKostik_Kostikкаждый раз открывая закрывая коннект я какимТо образом может "перенапрягаю" процесс. Так это или нет?Да. Вообще, вполне нормально когда открытый коннект висит часами. В пуле, разумеется. ТоЕсть, мне, всеТаки, следует периодически закрывать и открывать коннект? так? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 17:29 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
MikkiMouse, Я сканю страницу и сразу пишу в базу то что нужно, без составления XMLя. По ходу нахождения всех необходимых данных выполняется запрос и пишется в базу именно этот товар. Обрабатывать массивы товаров - тоже вариант, спасибо, попробую так. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 17:34 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
Kostik_Kostik, А страница это по твоему что за структура данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 18:20 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
Kostik_KostikТоЕсть, мне, всеТаки, следует периодически закрывать и открывать коннект? так?Зачем? Когда MySQL-серверу надоест Ваше подключение, он сам закроет коннект. В совою очередь, php, обнаружив что коннект потерялся, откроет его заново автоматически. Вот только, не будет инициализировать параметры. Впрочем, оно решаемо и без переподключения. Актуально на долгоиграющих скриптах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 18:29 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
MikkiMouse, ну да, понял) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 18:54 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
vkle, тогда, в таком случае, не подскажете ли, как можно остановить поток данных в базу после досрочного остановления скрипта? По сути это основная у меня проблема ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 18:56 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
Kostik_Kostikкак можно остановить поток данных в базу после досрочного остановления скриптаА с чего Вы взяли, что скрипт (который выполняется, напомню, на сервере) остановился? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 19:54 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
vkle, ну я ищу пути решения проблемы. может я не настолько осведомленный в этих процессах. Можете посоветовать что-то? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 22:16 |
|
||
|
проблемы с парсером товаров php
|
|||
|---|---|---|---|
|
#18+
Kostik_Kostikищу пути решения проблемыВы бы задачу то озвучили для начала так, чтоб понятно было не только Вам. Да и проблему тоже. Из того что выше - ну нифига не понятно ни задачи, ни проблемы. То про "перенапряжение" пишете, то про какие-то остановки неведомых скриптов в браузере... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2012, 22:43 |
|
||
|
|
start [/forum/topic.php?fid=23&fpage=125&tid=1464342]: |
0ms |
get settings: |
7ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
47ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
2ms |
| others: | 225ms |
| total: | 381ms |
| 0 / 0 |
