ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Быстрое создание записей в БД
25 сообщений из 57, страница 1 из 3
  1  все
Быстрое создание записей в БД
    #36214978
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Сделал простой тест
Вставка в таблицу поля (a,b,c: integer) 1 000 000 записей

(все СУБД внутри виртуальной машины VirtualPC)

MS SQL 2005 544сек
ORACLE 10 100сек
CACHE 2009.1 через интерфейс Objects 70сек
CACHE 2009.1 через интерфейс SQL 45сек
CACHE 2009.1 через доступ к глобалям 7сек

У кого есть какие комментарии?
У меня вопрос - почему такое отставание MSSQL (Он при работе все время обращается к винту) ?
...
Рейтинг: 0 / 0
24.09.2009, 14:14
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215032
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
авторСделал простой тест
Вставка в таблицу поля (a,b,c: integer) 1 000 000 записей

Записи можно вставлять по разному... Покажите, хотябы, как Вы дедали это для MS SQL.
...
Рейтинг: 0 / 0
24.09.2009, 14:25
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215094
Фотография Gluk (Kazan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gluk (Kazan)
Участник
и снова здравствуйте, Рыцарь Печального Образа

P.S. Побег за попкорном
...
Рейтинг: 0 / 0
24.09.2009, 14:39
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215112
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
SiemarglСделал простой тест

У кого есть какие комментарии?

- Штурман, приборы!
- Семьдесят.
- Что "семьдесят"?
- А что "приборы"?

Для начала нужно чётко понимать, что же, собственно, Вы хотите мерять.

SiemarglУ меня вопрос - почему такое отставание MSSQL (Он при работе все время обращается к винту) ?
Стеклянный шар советует проверить autocommit :)

SiemarglУ кого есть какие комментарии?
Да, ещё один маленький комментарий.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
Connected to Oracle Database 10g Express Edition Release  10 . 2 . 0 . 1 . 0  
Connected as test

...

SQL> truncate table million;

Table truncated

Executed in  0 , 406  seconds

SQL> exec insert_million_1;

PL/SQL procedure successfully completed

Executed in  2 , 218  seconds

SQL> truncate table million;

Table truncated

Executed in  0 , 328  seconds

SQL> exec insert_million_2;

PL/SQL procedure successfully completed

Executed in  225 , 969  seconds

Any questions?
...
Рейтинг: 0 / 0
24.09.2009, 14:43
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215238
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Senya_L
Участник
softwarerSiemarglУ меня вопрос - почему такое отставание MSSQL (Он при работе все время обращается к винту) ?
Стеклянный шар советует проверить autocommit :)Тоже про это подумалось. Про постоянное обращение к диску - он родимый. Сравниваем:
Код: plaintext
1.
   372406  мс - с autocommit
   109844  мс - с  1  явной  1  транзакцией
Ну и нельзя не проверить "наше все"
Код: plaintext
 5734  мс - BULK INSERT
Ну и до кучи:
 
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
begin tran
go

set nocount on;

declare @i int

set @i =  0 
while @i <  1000000  begin
	insert into tbl(a, b, c) values(@i, @i, @i)
	set @i = @i +  1 
end
go

commit tran
go
Код: plaintext
 12296  мс
...
Рейтинг: 0 / 0
24.09.2009, 15:18
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215292
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Senya_L
Участник
Надо еще и FB испытать. А то мужики не поймут...
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
execute block
as
declare variable i int;
begin
  i =  0 ;
  while (i <  1000000 ) do begin
    insert into ttt(a, b, c) values(:i, :i, :i);
    i = i +  1 ;
  end
end
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
 1000000  record(s) was(were) inserted into TTT

------ Performance info ------
Prepare time = 0ms
Execute time = 4s 688ms
Current memory =  34   376   820 
Max memory =  34   710   028 
Memory buffers =  2   048 
Reads from disk to cache =  23 
Writes from cache to disk =  1   561 
Fetches from cache =  3   095   744
...
Рейтинг: 0 / 0
24.09.2009, 15:34
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215391
Фотография Dmitry Arefiev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitry Arefiev
Участник
Куда, что и кто еще вставлять будет ?
...
Рейтинг: 0 / 0
24.09.2009, 16:01
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215406
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Senya_L
Участник
Dmitry ArefievКуда, что и кто еще вставлять будет ?Да ты только идею подай!..

Имхо, автору достаточно наглядно показали, что сравнивать сферический insert в вакууме - дело неблагодарное.
...
Рейтинг: 0 / 0
24.09.2009, 16:05
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215424
Фотография Dmitry Arefiev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitry Arefiev
Участник
Senya_Linsert
Да может там не insert, а alter table add column ("Вставка в таблицу поля"),
а в таблице 1M записей :)
...
Рейтинг: 0 / 0
24.09.2009, 16:11
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215509
Фотография Игорь Горбонос
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Игорь Горбонос
Участник
> Автор: Senya_L
> Надо еще и FB испытать. А то мужики не поймут...

Семён, а если так:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
execute block
as
declare variable i int;
begin
  i =  0 ;
  insert into ttt(a, b, c) values(:i, :i, :i);
  while (i <  31 ) do begin
    insert into ttt(a, b, c) select a, b, c from ttt;
    i = i +  1 ;
  end
end
?


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
24.09.2009, 16:44
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215517
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Игорь Горбонос,

ой, да вариантов можно напридумывать:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
DECLARE 
  @StartTime datetime
SET @StartTime = GETDATE()

SELECT TOP  1000000  s1.object_id c1, s2.object_id c2, s3.object_id c3, s4.object_id c4 INTO T1
FROM sys.objects s1, sys.objects s2, sys.objects s3, sys.objects s4

SELECT DATEDIFF(ms, @StartTime, GETDATE()) AS ms
GO

Код: plaintext
1.
2.
3.
4.
(1000000 row(s) affected)

ms          
----------- 
1520

тока оно зачем?!
...
Рейтинг: 0 / 0
24.09.2009, 16:48
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215628
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Да процедуру я не показал
Она в приципе почти копия как у Senya_L в свертке "до кучи", только значения присваиваются через random();

BULK INSERT мне не подходят (пока)

С отключением автокоммита ситуация значительно улучшилась.
MS SQL 2005 25сек
остальное неизменно
ORACLE 10 100сек
CACHE 2009.1 через интерфейс Objects 70сек
CACHE 2009.1 через интерфейс SQL 45сек
CACHE 2009.1 через доступ к глобалям 7сек



Порядок времени исполнения почти выровнялся. Возможно можно улучшить ORACLE? Вот процедура:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
declare              
     numrec number := 10000 ;             
     ii number := 0 ;             
     var1  number := 0 ;           
     var2  number := 0 ;           
     var3  number := 0 ;     
BEGIN     
    
     ii :=  0 ;     
     WHILE ii < numrec LOOP               
          var1 := ( 1000  + ii) mod  10000 ;                    
          var2 := ( 1002  + ii) mod  10000 ;                    
          var3 := ( 1010  + ii) mod  10000 ;                   
          INSERT INTO TestA (a,b,c) VALUES (var1,var2,var3);               
          ii := ii + 1 ;     
     END LOOP;     
     DBMS_OUTPUT.PUT_LINE( 'we ran succesfully! : ' || ii );     
END;
...
Рейтинг: 0 / 0
24.09.2009, 17:20
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215632
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
SiemarglВозможно можно улучшить ORACLE?Может, тоже коммитить попробовать?
...
Рейтинг: 0 / 0
24.09.2009, 17:22
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215638
locky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
locky
Участник
SiemarglПорядок времени исполнения почти выровнялся. Возможно можно улучшить ORACLE? Вот процедура:

Код: plaintext
1.
2.
3.
declare              
     numrec number := 10000 ;             
END;

чо за фигня?
...
Рейтинг: 0 / 0
24.09.2009, 17:24
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215822
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
Siemargl

Порядок времени исполнения почти выровнялся. Возможно можно улучшить ORACLE?
вот так нуна:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
SQL> set timing on ;
SQL> insert /*+ append */ into TestA select mod(1000+rownum,1000), mod(1002+rownum,1000), mod(1010+rownum,1000) from (select null from dual connect by level <= 1000000) ;

1000000 rows created.

Elapsed: 00:00:02.39
...
Рейтинг: 0 / 0
24.09.2009, 18:23
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215917
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Yo.!,
это трик, не совсем честный по логике.
Кроме того, рекурсия - дорогое удовольствие и у меня, например, по памяти не проходит.


ORA-04031: unable to allocate 44 bytes of shared memory ("large pool","unknown object","kxs-heap-w","cursor work heap")
...
Рейтинг: 0 / 0
24.09.2009, 19:21
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215930
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Siemargl wrote:

> У кого есть какие комментарии?

Я думаю, тут дело в неверных замерах.
А в случае кэша -- возможно и непонимание
того, что он делает, и эквивалентность этого
тому, что делают другие СУБД (я например
не понимаю этого. Ты понимаешь ?)
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
24.09.2009, 19:35
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215935
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Siemargl wrote:

> С отключением автокоммита ситуация значительно улучшилась.
> MS SQL 2005 25сек

Дело не в автокоммите, а в размере транзакции. Если 1 миллион
транзакций по одной записи -- будет медленно.
Если 10 тыщ транзакций по 100 записей -- будет быстрее.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
24.09.2009, 19:38
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215944
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
SiemarglYo.!,
это трик, не совсем честный по логике.

это не трюк, а так люди работают с rdbms. ваш вариант - пример абсолютной безграмотности и некомпетентности. обычно манией все решать неестественными реляционым бд циклами пресущи фокспро-гайз и пораженных кашей.

Siemargl
Кроме того, рекурсия - дорогое удовольствие и у меня, например, по памяти не проходит.


дефолтной инсталяции oracle xe памяти хватает, нефиг лезть в настройки не обладая хотя бы минимальной квалификацией ...
...
Рейтинг: 0 / 0
24.09.2009, 19:51
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215978
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Yo.!,
Инсталляция почти дефолтная, крутить ничего не надо было для тест-системы.
Изменена только ALTER SYSTEM SET SHARED_POOL_SIZE='100M' SCOPE=spfile;
по инструкции к apex v3

И не надо страдать манием величия (запроса) - единственным запросом выгребая тучу памяти.
А остальным что? Админ БД побьет, если поймает.

В реальности задача конечно не крутит циклы в PL/SQL, а внешней программой пишет по одной записи. У нее свои циклы (по приходу данных) и таких табличек - скажем, типично тысяча.
А это-искусственная ее имитация.


MasterZiv
Не понимаю. Самая прозрачная структура хранения кстати, у Кэша, который я впервые вижу, а вот остальные на что тратят время в тривиальном случае - мне непонятно.
Это как NTFS - (и структура хранения кстати, в СУБД похожа) - и надежная и иногда очень быстрая, но периодически тратит на свои внутренние дела ХЗ сколько времени. А кэш в этой аналогии как FAT.

А замеры то верные - в одной виртуалке, с дефолтными настройками.

С индексами структура еще усложнится, и не нужны они (пока и так не совем понятно что происходит).
...
Рейтинг: 0 / 0
24.09.2009, 20:18
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215985
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Senya_L
Участник
MasterZiv
Siemargl wrote:

> С отключением автокоммита ситуация значительно улучшилась.
> MS SQL 2005 25сек

Дело не в автокоммите, а в размере транзакции. Если 1 миллион
транзакций по одной записи -- будет медленно.
Если 10 тыщ транзакций по 100 записей -- будет быстрее.
+1

XML'ем можно "лить" данные, уж на то пошло.

И что за мания сравнивать скорость вставки тупо создав программный цикл на сервере? Задача сервера БД - обслуживать клиентские запросы (простите уж за банальности, они для автора :)), а оценивать скорость вставки по запросам, как все мои выше указанные - это полная фигня. Я-то хоть проикалывался
...
Рейтинг: 0 / 0
24.09.2009, 20:23
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215992
Fox5631
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fox5631
Гость
Visual Foxpro 9

Код: plaintext
1.
2.
3.
4.
5.
6.
T1=SECONDS()
FOR i= 1  TO  1000000 
   INSERT INTO Ttt (a,b,c) VALUES (i,i,i)
NEXT

T2=SECONDS()
? T2-T1

2.703
...
Рейтинг: 0 / 0
24.09.2009, 20:30
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36215998
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
SiemarglYo.!,
Инсталляция почти дефолтная, крутить ничего не надо было для тест-системы.
Изменена только ALTER SYSTEM SET SHARED_POOL_SIZE='100M' SCOPE=spfile;
по инструкции к apex v3
брехня.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
SQL> alter system set sga_target=100m;

System altered.

SQL> shutdown immediate ;
Database closed.
Database dismounted.
ORACLE instance shut down.
SQL> startup ;
ORACLE instance started.

Total System Global Area   134217728  bytes
Fixed Size                   1257620  bytes
Variable Size              117444460  bytes
Database Buffers            12582912  bytes
Redo Buffers                 2932736  bytes
Database mounted.
Database opened.
SQL> drop table testa ;

Table dropped.

SQL> create table TestA (var1 number( 5 ), var2 number( 5 ), var3 number( 5 )) ;

Table created.

SQL> insert /*+ append */ into TestA select mod( 1000 +rownum, 1000 ), mod( 1002 +rownum, 1000 ), mod( 1010 +rownum, 1000 ) from (select null from dual connect by level <=  1000000 ) ;

 1000000  rows created.

SiemarglИ не надо страдать манием величия (запроса) - единственным запросом выгребая тучу памяти.
память - она резиновая и дешевле картошки, а вот и/о - дорого, вот его беречь нуна.

SiemarglА остальным что? Админ БД побьет, если поймает.
гнать таких админов на пенсию, в крайнем случае, если где-то сохранилось, в зад на кашу...
...
Рейтинг: 0 / 0
24.09.2009, 20:33
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36216018
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
авторС индексами структура еще усложнится, и не нужны они

Можно я буду Вас цитировать???
...
Рейтинг: 0 / 0
24.09.2009, 20:46
| Ответить | Цитировать | Написать  
Быстрое создание записей в БД
    #36216042
Фотография Dmitry Arefiev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitry Arefiev
Участник
Yo.!SiemarglИ не надо страдать манием величия (запроса) - единственным запросом выгребая тучу памяти.
память - она резиновая и дешевле картошки, а вот и/о - дорого, вот его беречь нуна.
В районе 5т-10т записей на батч (зависит от <длинный список 1>) перестает существенно
расти производительность. Заключать всю "нарезку" или только один батч в транзакцию
зависит больше <длинный список 2>. Первый и второй списки слабо пересекаются ...
Так что - кто как порежет. А кто и одной кучей.
...
Рейтинг: 0 / 0
24.09.2009, 21:16
| Ответить | Цитировать | Написать  
25 сообщений из 57, страница 1 из 3
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Быстрое создание записей в БД
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=36215992&tid=1552733]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 36ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 59ms
get tp. blocked users:
 1ms
others: 14ms
total:  152ms
созд. / загр.: 152ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]