powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / проблемы с парсером товаров php
12 сообщений из 12, страница 1 из 1
проблемы с парсером товаров php
    #38065421
Kostik_Kostik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет)
Работаю я сейчас над написанием парсеров товаров, которій сразу пишет все в базу.
Обычный мюскюл_коннект и мюскул_квайри. открываю коннект -> в цикле обрабатываю данные и пишу в базу -> по завершению работы закрываю коннект.
Почему так. Товаров много и каждый раз открывая закрывая коннект я какимТо образом может "перенапрягаю" процесс. Так это или нет?
И еще заметил, скорее это изза открытого коннекта, или, я не знаю: когда я останавливаю скрипт в окне браузера база продолжает наполняться данными. Что это может быть и как с ним бороться подскажите
Заранее благодарен
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38065449
MikkiMouse
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kostik_Kostik,

То, что ты тыришь откуда-то товары понятно. А вопрос в чем заключался?
Если в принципе обработки, то можно не дергать каждый раз в цикле базу, а обработав какую-то часть, сформировать запрос на вставку данных, выполнить запрос и перейти к следующему куску данных. В принципе так и работают потоковые парсеры. Если ты обрабатываешь здоровенный XML(~100 M) к примеру, то никаких ресурсов не хватит весь файл распарсить сразу, читается по частям, разбирается, потом записывается.
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38065532
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kostik_Kostikкаждый раз открывая закрывая коннект я какимТо образом может "перенапрягаю" процесс. Так это или нет?Да. Вообще, вполне нормально когда открытый коннект висит часами. В пуле, разумеется.
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38066686
Kostik_Kostik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkleKostik_Kostikкаждый раз открывая закрывая коннект я какимТо образом может "перенапрягаю" процесс. Так это или нет?Да. Вообще, вполне нормально когда открытый коннект висит часами. В пуле, разумеется.
ТоЕсть, мне, всеТаки, следует периодически закрывать и открывать коннект? так?
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38066705
Kostik_Kostik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MikkiMouse,

Я сканю страницу и сразу пишу в базу то что нужно, без составления XMLя.
По ходу нахождения всех необходимых данных выполняется запрос и пишется в базу именно этот товар.
Обрабатывать массивы товаров - тоже вариант, спасибо, попробую так.
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38066797
MikkiMouse
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kostik_Kostik,

А страница это по твоему что за структура данных?
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38066816
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kostik_KostikТоЕсть, мне, всеТаки, следует периодически закрывать и открывать коннект? так?Зачем? Когда MySQL-серверу надоест Ваше подключение, он сам закроет коннект. В совою очередь, php, обнаружив что коннект потерялся, откроет его заново автоматически. Вот только, не будет инициализировать параметры. Впрочем, оно решаемо и без переподключения. Актуально на долгоиграющих скриптах.
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38066856
Kostik_Kostik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MikkiMouse,

ну да, понял)
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38066858
Kostik_Kostik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle,

тогда, в таком случае, не подскажете ли, как можно остановить поток данных в базу после досрочного остановления скрипта? По сути это основная у меня проблема
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38066920
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kostik_Kostikкак можно остановить поток данных в базу после досрочного остановления скриптаА с чего Вы взяли, что скрипт (который выполняется, напомню, на сервере) остановился?
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38067028
Kostik_Kostik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle,
ну я ищу пути решения проблемы. может я не настолько осведомленный в этих процессах. Можете посоветовать что-то?
...
Рейтинг: 0 / 0
проблемы с парсером товаров php
    #38067042
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kostik_Kostikищу пути решения проблемыВы бы задачу то озвучили для начала так, чтоб понятно было не только Вам. Да и проблему тоже. Из того что выше - ну нифига не понятно ни задачи, ни проблемы. То про "перенапряжение" пишете, то про какие-то остановки неведомых скриптов в браузере...
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / проблемы с парсером товаров php
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]