powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД. Нужна очень быстрая вставка.
25 сообщений из 129, страница 3 из 6
Выбор СУБД. Нужна очень быстрая вставка.
    #36683532
Фотография roden
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
krvsaСУБД
Cache for Windows (x86-32) 2007.1.3 (Build 607) Wed Oct 17 2007 02:12:09 EDT

Тестил на простенькой "персоналке"...
И с отключенным журналом транзакций?
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36683622
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
roden...
И с отключенным журналом транзакций?
Попробовал второй тест krvsa у себя:
с отключённым журналом транзакций - ~0.3 c.

с включённым журналом транзакций (всё в одной транзакции) - ~1.6 c.

PS: исходники других тестов Вы можете посмотреть здесь и здесь.
Оффтоп
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36683877
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в mysql движок ARCHIVE пробовали? по задумке он создан для быстрых и конкурентных вставок, в ущерб всему остальному.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36683885
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
netwindв mysql движок ARCHIVE пробовали? по задумке он создан для быстрых и конкурентных вставок, в ущерб всему остальному.
/friday off -Резиновых женщин не пробовали - "по задумке они созданы для быстрых и конкурентных вставок, в ущерб всему остальному." )))))
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36683965
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
странно, но скорость ARCHIVE в принципе не сильно от pg отличается. только я не умею последовательности генерить, а гуевым генератором сделал исходную табличку.
как уже приводили для postgres с primary key + текстовым полем
обычный бытовой HDD 7200 rpm, ntfs, mysql 5.1.43, антивирус все же я отключил.
показывает 158730 записей в секунду.

mysql> show create table archivedata;
| archivedata | CREATE TABLE `archivedata` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`data1` varchar(255) DEFAULT NULL,
`ref1` int(11) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=ARCHIVE DEFAULT CHARSET=cp1251 AVG_ROW_LENGTH=53 |

mysql> show create table sourcedata;
| sourcedata | CREATE TABLE `sourcedata` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`data1` varchar(255) DEFAULT NULL,
`ref1` int(11) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=1000001 DEFAULT CHARSET=cp1251 |


mysql> insert into archivedata select * from sourcedata;
Query OK, 1000000 rows affected ( 6.28 sec )
Records: 1000000 Duplicates: 0 Warnings: 0

mysql> show table status \G
*************************** 1. row ***************************
Name: archivedata
Engine: ARCHIVE
Version: 10
Row_format: Compressed
Rows: 1000000
Avg_row_length: 53
Data_length: 53906209
Max_data_length: 9223372036854775807
Index_length: 0
Data_free: 0
Auto_increment: 1000001
Create_time: 2010-06-12 00:45:24
Update_time: 2010-06-12 00:51:36
Check_time: NULL
Collation: cp1251_general_ci
Checksum: NULL
Create_options: avg_row_length=53
Comment:
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36683974
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а вот обратно в myisam из archive вливается даже быстрее и теперь уже чуть быстрее pg.
insert into archivedata_copy select * from archivedata;
Query OK, 3000005 rows affected (15.55 sec)
т е 192926 записей/сек

тут, видимо, упаковка архиватором gzip играет большую роль. на практике не так плохо. но моем тесте из случайных данных только ухудшает все.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36683980
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А самое интересное, что innodb, похоже, за счет кеширования даннных в памяти, работает и того быстрее:
1000000 rows affected (3.83 sec)
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685741
Eugenkru10
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
спитСтоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.
Visual Foxpro 9.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685777
Vinny the POOH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugenkru10, вылезай из криокамеры. 2010 год на дворе, а не 1995. Делать проект на трупе - ИМХО маразм
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685783
Eugenkru10
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vinny the POOHEugenkru10, вылезай из криокамеры. 2010 год на дворе, а не 1995. Делать проект на трупе - ИМХО маразм
А оракл это вообще кастрат без своего языка, нормального инструмента для проектирования и создания программ.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685792
Vinny the POOH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugenkru10, ты с какого дуба свалился? Тему читал? Нужна СУБД с быстрой вставкой. Оракл - СУБД. Языки - Java, PL/SQL, C. Для разработки приложений - вся огромная армия средств разработки. Есть и своя - Oracle Forms, но насколько она живая - я ХЗ. (Из оракловых продуктов юзал тока СУБД).

А вот фокс - полуразложившийся зомбяк, который пока ещё шевелится исключительно из-за огромного количества древнючих программ, переписывать которые ни у кого нет желания, и которые всёравно через какое-то время помрут собственной смертью.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685829
Eugenkru10
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vinny the POOHEugenkru10, ты с какого дуба свалился? Тему читал? Нужна СУБД с быстрой вставкой. Оракл - СУБД. Языки - Java, PL/SQL, C. Для разработки приложений - вся огромная армия средств разработки. Есть и своя - Oracle Forms, но насколько она живая - я ХЗ. (Из оракловых продуктов юзал тока СУБД).

А вот фокс - полуразложившийся зомбяк, который пока ещё шевелится исключительно из-за огромного количества древнючих программ, переписывать которые ни у кого нет желания, и которые всёравно через какое-то время помрут собственной смертью.
1. А на фоксе по твоему медленная вставка? ))))))))))))) тебе мячик из ЮАР в голову не попадал?
2. Оракл потому и кастрат что к его заднице надо ещё второй язык чтобы нарисовать формочку-залупку ))))). В то время как в фоксе всё уже есть - и База данных и SQL и формочки рисуй и отчёты и залупки ))))))))).
Oracle Forms может и живая точно как ты выразился "полуразложившийся зомбяк" ))))))
3. Скорость разработки в 6-10 раз выше и это факт.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685836
Vinny the POOH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugenkru10, а в фоксе НЕТ базы данных (файл-сервер уже лет 10 нах никому не нужен). Поэтому к нему надо прикручивать стороннюю СУБД. Нах такое надо? Лучше взять какой-то более живой форм-билдер.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685849
Eugenkru10
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Как это в Фоксе нет Базы Данных ???
Ты ёбнулся........ )))))))))))))))
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685858
Eugenkru10
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vinny the POOH,

И потом с чего ты взял что файл сервер 10 лет ни кому не нужен? )))))))))))))
Если ты про интернет приложения то могу тебя обрадовать
Фокс может работать как со своими структурами DBF так и с Mysql и c Oracl
вини - вини куда ты лезешь... ))))))))))
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685872
Vinny the POOH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugenkru10, зачем прикручивать к жопе пожарный шланг и винт вертикального взлёта? Для Интернет-приложений есть PHP, Ruby, Python, Java наконец... Зачем юзать это мёртвое, выньтоз-онли дерьмо для интернет приложений? Лично я таких идиотов, роющих своему проекту могилу, ещё не видел.

А файл-сервер таки не нужен, т.к. по сравнению с клиент-сервером у него нет ровным счётом никаких преимуществ, зато есть четыре вагона недостатков. Есть нормальные СУБД и нормальные средства разработки. Трупы тоже не нужны.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685891
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vinny the POOHА файл-сервер таки не нужен, т.к. по сравнению с клиент-сервером у него нет ровным счётом никаких преимуществ, зато есть четыре вагона недостатков. Это верно не для всех приложений. А если Веб-серверное, так еще может и вдвое быстрее оказаться, убирая промежуточный апп-сервер =)
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685914
Vinny the POOH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Siemargl, вдвое - это врядли. Точнее - возможно, на мелких, безнадёжных проектах без всякой перспективы роста оно и даст какой-то прирост производительности, но если приложение высоконагруженное и требуется кластер? А как такую БД администрировать? Кучу логики (типа генерации IDшников, CHECK-Constraintов и пр., всё, что уже зашито в нормальную СУБД) прийдется реализовывать на уровне приложения, и скорости разработки это никак не прибавит. Так что игра тут совсем не стоит свеч, ради незначительного роста производительности жертвовать удобством разработки, администрирования, масштабируемостью - ИМХО не стоит.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685926
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vinny the POOH,

не трать силы, это троль
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685927
Vinny the POOH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И вообще, фокс когда-то был актуален, очень давно, в 90-е. Во времена повального пиратства и фирм с 1-2 компами. Стартовать на нём проекты в 2010 году - это надо быть, как минимум, не очень здоровым. Как минимум по причине того, что всё, он подох, поддержки нет, развития нет, новых версий выходить больше не будет, изучать его никто не будет - значит спецов с каждым годом будет всё меньше и меньше. И что-то мне кажется, что судьба Кобола (который до сих пор работает, и специалисты по которому ОЧЕНЬ высокооплачиваемы) его не ждёт, по причине того, что крупные системы на нём если и есть, то их очень мало, а подавляющее большинство бухгалтерско-учётных поделок на нём проще переписать, чем искать очень редкоземельных спецов и разбираться в тоннах глючащего говнокода.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685929
Vinny the POOH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AAronVinny the POOH,

не трать силы, это троль

Я знаю. Просто хочется пофлудить =)
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685936
Eugenkru10
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vinny the POOH... А файл-сервер таки не нужен, т.к. по сравнению с клиент-сервером у него нет ровным счётом никаких преимуществ, зато есть четыре вагона недостатков. Есть нормальные СУБД и нормальные средства разработки. Трупы тоже не нужны.
Нашему главбуху интернет не нужен. ))))
А вот файл-сервер ещё как нужен.
Тебе уткороботу ещё лет 50 в игрушки играть! А ты про ораклы рассуждаешь кабудто у тебя ум есть ))))
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685939
Eugenkru10
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vinny the POOHИ вообще, фокс когда-то был актуален, очень давно, в 90-е. Во времена повального пиратства и фирм с 1-2 компами. Стартовать на нём проекты в 2010 году - это надо быть, как минимум, не очень здоровым. Как минимум по причине того, что всё, он подох, поддержки нет, развития нет, новых версий выходить больше не будет, изучать его никто не будет - значит спецов с каждым годом будет всё меньше и меньше. И что-то мне кажется, что судьба Кобола (который до сих пор работает, и специалисты по которому ОЧЕНЬ высокооплачиваемы) его не ждёт, по причине того, что крупные системы на нём если и есть, то их очень мало, а подавляющее большинство бухгалтерско-учётных поделок на нём проще переписать, чем искать очень редкоземельных спецов и разбираться в тоннах глючащего говнокода.
Ну я же говорил? Ебанько.... )))))
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685943
ЛП
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Vinny the POOH
И вообще, фокс когда-то был актуален, очень давно, в 90-е. Во времена повального пиратства и фирм с 1-2 компами.
Оно конечно так, но не в пиратстве дело.
В 90-ые сервера (СУБД) были толстыми, а компутеры (сервера) совсем хиленькими.
Это сейчас компутеры толстеют не по дням а по часам, и на фоне роста мощностей железа требования для установки полноценного сервера БД становятся всё более и более смешными. Хоть в телефоне оракл носи.

Что же до пиратства (вернее борьбы с ним), то оно и в 90-ые никого не останавливало, в том числе и тех, кто хотел СуперПуперМССКЛОраклЕЕ, купленный на базаре, и сейчас.
...
Рейтинг: 0 / 0
Выбор СУБД. Нужна очень быстрая вставка.
    #36685951
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
определенный эффект от встраиваемых систем хранения есть - там нет накладных расходов на межпроцессный обмен данными. В контексте данной задачи стоит и их упомянуть.
Вот тот же оракл купил innodb именно чтобы иметь полную линейку продуктов, в том числе и встраиваемых.
Кроме innodb, есть встраиваемый mysql - там SQL и полностью совместимое API с обычными mysql-программами . потенциально даже программы переписывать не придется.
...
Рейтинг: 0 / 0
25 сообщений из 129, страница 3 из 6
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД. Нужна очень быстрая вставка.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]