Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД. Нужна очень быстрая вставка. / 25 сообщений из 129, страница 1 из 6
  1  все
18.05.2010, 19:41
    #36634869
спит
спит
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
Стоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.05.2010, 19:51
    #36634877
Шайтан
Шайтан
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
когда то в АСУ ТП для этого юзали IndustrialSQL Server

это, конечно, не совсем СУБД, это надстройканад MS SQL, но заточено всё это именно под быструю вставку данных
не мне не ихменяет мой склероз, то версия 7.1 до 70тыс событий в секунду могла записывать
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 04:42
    #36635432
SERG1257
SERG1257
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
Плоский файл, который заливается в СУБД в пакетном режиме, через определенные промежутки времени.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 08:24
    #36635505
krvsa
krvsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
спит , вот потестил сегодня "свою" СУБД

Код: plaintext
1.
2.
3.
k ^tmpKSA 
s t=$p($h,",", 2 ) 
f i= 1 : 1 : 60000  s ^tmpKSA(i)=i
w !,$p($h,",", 2 )-t

Результат всегда - менее секунды.

Если так

Код: plaintext
f i= 1 : 1 : 1000000  s ^tmpKSA(i)=i

то 2 секунды...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 08:25
    #36635509
krvsa
krvsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
СУБД
Cache for Windows (x86-32) 2007.1.3 (Build 607) Wed Oct 17 2007 02:12:09 EDT

Тестил на простенькой "персоналке"...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 09:27
    #36635568
Siemargl
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
спит,

Надо еще знать, что с данными делать дальше и какие будут индексы и срок хранения.

А то может плоского файла и хватит.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 10:48
    #36635759
MasterZiv
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
спит пишет:
> Стоит задача вставлять данные со скоростью 60 000 записей в секунду.
> Посоветуйте СУБД.

Для этой задачи лучшая СУБД -- текстовый или бинарный файл.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 10:49
    #36635763
MasterZiv
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
SERG1257 пишет:

> Плоский файл, который заливается в СУБД в пакетном режиме, через
> определенные промежутки времени.

Зачем в СУБД -то заливать ? У ТС не было такой задачи.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 11:30
    #36635880
vadiminfo
vadiminfo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
MasterZiv
Зачем в СУБД -то заливать ? У ТС не было такой задачи.

Судя по названию топика была кадато.

Модератор: Тема перенесена из форума "Проектирование БД".
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 12:26
    #36636089
serkir
serkir
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
1) Использовал Ms Sql 2000 + компонент SqlXml на клиенте
2) Проведенные тесты показывали заливку со скоростью 50000 тыс записей в секунду
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 12:33
    #36636134
MX-9
MX-9
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
krvsa спит , вот потестил сегодня "свою" СУБД

Код: plaintext
1.
2.
3.
k ^tmpKSA 
s t=$p($h,",", 2 ) 
f i= 1 : 1 : 60000  s ^tmpKSA(i)=i
w !,$p($h,",", 2 )-t

Результат всегда - менее секунды.

Если так

Код: plaintext
f i= 1 : 1 : 1000000  s ^tmpKSA(i)=i

то 2 секунды...

гониш
несерьезно
и что за язык птичий
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 13:01
    #36636268
sanyock2
sanyock2
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
походит на рекламу каше
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 13:09
    #36636301
Favn
Favn
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
спитСтоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.Стоит уточнить, что за записи (размер), сложность индекса, что с ними потом делать (частота и сложность аналитики), порядок вставки - постоянно онлайн каждую секунду или пакетно временами.
В принципе, даже если онлайн, ничего особо страшного. Общие пожелания от СУБД - отдельный RAW tablescpace на SSD-дисках (или не на SSD, или не RAW, но хоть с отключенным кешированием от ОС), кластерный индекс по короткому полю (по возможности range или hash), логи на отдельном томе, локальный коннект (без эмуляции IP).
Еще лучше - по возможности пакетная быстрая заливка утилитой/API от СУБД или хотя бы через временную таблицу (эмуляция пакетной заливки).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 13:36
    #36636422
правильный емайл
правильный емайл
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
SERG1257Плоский файл, который заливается в СУБД в пакетном режиме, через определенные промежутки времени.+1
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 13:41
    #36636446
krvsa
krvsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
MX-9гониш
С какой стати?

MX-9несерьезно
Да брось ты!

MX-9и что за язык птичий
Тут вообще без комментариев...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 13:42
    #36636448
krvsa
krvsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
sanyock2походит на рекламу каше
Запросто!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 13:46
    #36636462
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
sanyok2походит на рекламу каше
да и фиг с ней, и с рекламой и вообще. Я вот, люблю считать. :-)

60000 записей в секунду. Допустим, запись занимает ... 80 байт.
Это 4.6 мегабайт в секунду. В сутках 86400 секунд.
Значит за сутки будет 395507 мегабайт. Т.е. 395 гиг. Если я (или Excel) нигде не ошибся в подсчетах, то выходит, что за год получится 141 терабайт голых (!) данных.

Отсюда выводы могут быть разными. Либо автор напутал, либо задача исходно безумная, либо все так и есть реально. Во втором случае можно подумать об изменении вида хранения данных, т.е. не записями, а как-то еще. В третьем случае придется подбирать крутое железо и крутую систему хранения и обработки этих данных.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 14:06
    #36636559
Siemargl
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
Продам сервер. Недорого )))

Обсуждалась тема и не раз - поиск ТС в помощь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 14:20
    #36636631
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
kdv
Либо автор напутал, либо задача исходно безумная, либо все так и есть
реально.

Я бы поставил на то, что он забыл упомянуть одну деталь: данные
удаляются из БД через сутки после занесения.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 14:22
    #36636636
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
to DS: ну, он считай что вообще ничего не упомянул, кроме скорости вставки. Мы тут фантазируем, конечно, но зато и ему понятно, что нужно учитывать множество разных неупомянутых факторов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.05.2010, 23:04
    #36637986
Senya_L
Senya_L
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
kdvда и фиг с ней, и с рекламой и вообще. Я вот, люблю считать. :-)Возможно автору требуется, чтобы пиковая скорость заливки данных была не меньше 60000 записей/сек и совсем необязательно они льются круглые сутки. Допустим, какой-нибудь контроллер, котороый, собака, не хотит ждать, покуда сервер "съест" данные :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.05.2010, 11:48
    #36638518
Westtrd
Westtrd
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
спит,

Если не устраивают бинарные файлы,

tokyo cabinet
berkeley

и тому подобное

Все от предметной области тоже зависит
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.05.2010, 12:34
    #36638704
Alexey Kuznetsov
Alexey Kuznetsov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
Как то на одной из конференций которую проводило IBM (это было года 2 назад, так что могло что и поменяться).

они говорили что вроде как рекорд по массовой загрузке данных им принадлежит.

в DB2 есть утилита LOAD которая грузит данные напрямую в бд
она вполне себе быстрая.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.05.2010, 13:58
    #36639025
правильный емайл
правильный емайл
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
Alexey Kuznetsovв DB2 есть утилита LOAD которая грузит данные напрямую в бд
она вполне себе быстрая.oracle sql*load
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.05.2010, 11:52
    #36641081
-Serg-
-Serg-
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД. Нужна очень быстрая вставка.
krvsa спит , вот потестил сегодня "свою" СУБД

Код: plaintext
1.
2.
3.
k ^tmpKSA 
s t=$p($h,",", 2 ) 
f i= 1 : 1 : 60000  s ^tmpKSA(i)=i
w !,$p($h,",", 2 )-t

Результат всегда - менее секунды.

Если так

Код: plaintext
f i= 1 : 1 : 1000000  s ^tmpKSA(i)=i

то 2 секунды...

.053389 первый тест, второй тест дает на моей чахлой машине .888376. Откуда 2 сек то берутся.
p.s. используй вместо $p($h,",",2) просто $zh
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД. Нужна очень быстрая вставка. / 25 сообщений из 129, страница 1 из 6
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 386ms
Закрыть
start [/forum/topic.php?fid=35&mobile=1&tid=1552776]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 45ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 62ms
get tp. blocked users:
 1ms
others: 233ms
total:  386ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]