ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [PHP + MySQL] добавление большого кол-ва данных в таблицу
14 сообщений из 14, страница 1 из 1
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33244142
Фотография Duke1999
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Duke1999
Участник
есть код добавления данных в таблицу примерно такого вида:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
ob_start();
include("install.php");
$sql = ob_get_contents();
ob_end_clean();
$sql = explode("\n", $sql);
for($i= 0 ; (!empty($sql) && $i < sizeof($sql)); $i++)
{
if(!empty($sql[$i])) mysql_query ($sql[$i], $db);
}
в install.php много строк такого типа:
INSERT INTO table VALUES ('x','y');
INSERT INTO table VALUES ('xx','yy');

Все работает до тех пор, пока кол-во строк в install.php не очень большое. Если >700 строк или в таблицу ничего не добавляется или добавляется кусками. Куда копать?
...
Рейтинг: 0 / 0
31.08.2005, 17:12
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33244176
.-.-.-.-.-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.-.-.-.-.-
Гость
http://dev.mysql.com/doc/mysql/en/insert-speed.html
...
Рейтинг: 0 / 0
31.08.2005, 17:23
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33244217
Фотография 4m@t!c
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
4m@t!c
Участник
Чему равно махимальное время исполнения скрипта - max_execution_time?
Очень похоже, что за время жизни скрипта скрипт не успевает втянуть все данные. Увеличьте время жизни скрипта или попробуйте выполнять не конструкции типа INSERT INTO `tbl_name`(...) VALUES(...), а выплонить LOAD DATA INFILE 'dump.txt' INTO TABLE `tbl_name`.
P.S. Порочная практика использовать в названиях таблиц, столбцов и т.д. зарезервированные слова.
----------------------------------------
Артисты не приехали, приехали цыгане
...
Рейтинг: 0 / 0
31.08.2005, 17:35
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245203
Фотография Duke1999
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Duke1999
Участник
4m@t!cЧему равно махимальное время исполнения скрипта - max_execution_time?
=60, но, наверное, менять его, тем более программно это не есть хорошо и не всегда получится
4m@t!c
Очень похоже, что за время жизни скрипта скрипт не успевает втянуть все данные. Увеличьте время жизни скрипта или попробуйте выполнять не конструкции типа INSERT INTO `tbl_name`(...) VALUES(...), а выплонить LOAD DATA INFILE 'dump.txt' INTO TABLE `tbl_name`.
P.S. Порочная практика использовать в названиях таблиц, столбцов и т.д. зарезервированные слова.
это про "table"? Это для примера... На самом деле там вот такое:
Код: plaintext
INSERT INTO <?echo $oComponent->prefix; ?>statistic_browserlist VALUES ( 1 ,'GJK_browscap_Version','','browscap Version','','2004-02-15 19:12:01 GMT', 0 , 0 ,- 1 ,- 1 ,- 1 ,- 1 );
и поэтому через файл грузить будет гемморойно по причине не постоянной имени таблицы - нужны будут дополнительные телодвижения по обработке файла. Хотя если делать временный файл и его подсовывать...
...
Рейтинг: 0 / 0
01.09.2005, 10:53
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245345
VERS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VERS
Участник
Duke1999=60, но, наверное, менять его, тем более программно это не есть хорошо и не всегда получится

А что здесь плохого? Хотя ... 700 записей в минуту в легкую должны по идее вставляться ... (если конечно они все такие, как вы указали)
...
Рейтинг: 0 / 0
01.09.2005, 11:23
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245390
Фотография 4m@t!c
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
4m@t!c
Участник
у меня скрипты исполняются по 2,5 часа, потому что происходит втягивание по несколько миллионов записей с кучей проверок. И время исполнения скрипта выставлено соотвествующее. Сделал output_buffering=off + flush().
----------------------------------------
Артисты не приехали, приехали цыгане
...
Рейтинг: 0 / 0
01.09.2005, 11:32
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245399
Фотография 4m@t!c
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
4m@t!c
Участник
Как верно заметил господин VERS - 700 записей, втянутые за 60 секунд - это очень мало. Создайте профайлер и посмотрите, что "съедает" бОльшую часть времени исполнения скрипта..
----------------------------------------
Артисты не приехали, приехали цыгане
...
Рейтинг: 0 / 0
01.09.2005, 11:34
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245425
DocAl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DocAl
Участник
Мб там какие-то навороченные индексы строятся...
...
Рейтинг: 0 / 0
01.09.2005, 11:39
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245447
Фотография Duke1999
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Duke1999
Участник
VERSХотя ... 700 записей в минуту в легкую должны по идее вставляться ... (если конечно они все такие, как вы указали)
я не сказал, что их 700, я сказал, что когда их больше 700 (приблизительно методом тыка проверял) начинаются проблемы... на самом деле их в одном файле 41000, в другом 2500...
...
Рейтинг: 0 / 0
01.09.2005, 11:43
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245464
Фотография 4m@t!c
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
4m@t!c
Участник
LOAD DATA INFILE - уместна/возможна?
----------------------------------------
Артисты не приехали, приехали цыгане
...
Рейтинг: 0 / 0
01.09.2005, 11:47
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245468
Фотография Duke1999
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Duke1999
Участник
.-.-.-.-.-http://dev.mysql.com/doc/mysql/en/insert-speed.html
как написано здесь добавил в файлы
Код: plaintext
1.
2.
3.
LOCK TABLES table WRITE;
....
UNLOCK TABLES;
на локальной машине запросы выполняются влёт - полез проверять на хостинге...
...
Рейтинг: 0 / 0
01.09.2005, 11:48
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245479
DocAl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DocAl
Участник
Используйте расширенную вставку, она заметно быстрее. А мб даже INSERT DELAYED, по ситуации.
...
Рейтинг: 0 / 0
01.09.2005, 11:51
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245481
Фотография Duke1999
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Duke1999
Участник
4m@t!cLOAD DATA INFILE - уместна/возможна?
название таблиц в insert непостоянно и зависит от префикса, поэтому не хотелось бы ворочать файлом в 5Мб подменяя название...
...
Рейтинг: 0 / 0
01.09.2005, 11:51
| Ответить | Цитировать | Написать  
[PHP + MySQL] добавление большого кол-ва данных в таблицу
    #33245689
Фотография Duke1999
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Duke1999
Участник
Duke1999 4m@t!cLOAD DATA INFILE - уместна/возможна?
название таблиц в insert непостоянно и зависит от префикса, поэтому не хотелось бы ворочать файлом в 5Мб подменяя название...
здесь сказал фигню, не прочитав про формат входного файла... LOAD DATA INFILE - это то что надо. Данные влетают в таблицы со свистом! Всем спасибо!
...
Рейтинг: 0 / 0
01.09.2005, 12:39
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [PHP + MySQL] добавление большого кол-ва данных в таблицу
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=23&fpage=459&tid=1477682]:
 0ms
get settings:
 7ms
get forum list:
 14ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 38ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 47ms
get tp. blocked users:
 1ms
others: 203ms
total:  325ms
созд. / загр.: 325ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]