ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД. Нужна очень быстрая вставка.
25 сообщений из 129, страница 1 из 6
  1  все
Выбор СУБД. Нужна очень быстрая вставка.
    #36634869
спит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
спит
Гость
Стоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.
...
Рейтинг: 0 / 0
18.05.2010, 19:41
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36634877
Фотография Шайтан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шайтан
Участник
когда то в АСУ ТП для этого юзали IndustrialSQL Server

это, конечно, не совсем СУБД, это надстройканад MS SQL, но заточено всё это именно под быструю вставку данных
не мне не ихменяет мой склероз, то версия 7.1 до 70тыс событий в секунду могла записывать
...
Рейтинг: 0 / 0
18.05.2010, 19:51
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36635432
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SERG1257
Участник
Плоский файл, который заливается в СУБД в пакетном режиме, через определенные промежутки времени.
...
Рейтинг: 0 / 0
19.05.2010, 04:42
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36635505
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
krvsa
Участник
спит , вот потестил сегодня "свою" СУБД

Код: plaintext
1.
2.
3.
k ^tmpKSA 
s t=$p($h,",", 2 ) 
f i= 1 : 1 : 60000  s ^tmpKSA(i)=i
w !,$p($h,",", 2 )-t

Результат всегда - менее секунды.

Если так

Код: plaintext
f i= 1 : 1 : 1000000  s ^tmpKSA(i)=i

то 2 секунды...
...
Рейтинг: 0 / 0
19.05.2010, 08:24
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36635509
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
krvsa
Участник
СУБД
Cache for Windows (x86-32) 2007.1.3 (Build 607) Wed Oct 17 2007 02:12:09 EDT

Тестил на простенькой "персоналке"...
...
Рейтинг: 0 / 0
19.05.2010, 08:25
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36635568
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
спит,

Надо еще знать, что с данными делать дальше и какие будут индексы и срок хранения.

А то может плоского файла и хватит.
...
Рейтинг: 0 / 0
19.05.2010, 09:27
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36635759
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
спит пишет:
> Стоит задача вставлять данные со скоростью 60 000 записей в секунду.
> Посоветуйте СУБД.

Для этой задачи лучшая СУБД -- текстовый или бинарный файл.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2010, 10:48
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36635763
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
SERG1257 пишет:

> Плоский файл, который заливается в СУБД в пакетном режиме, через
> определенные промежутки времени.

Зачем в СУБД -то заливать ? У ТС не было такой задачи.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2010, 10:49
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36635880
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
MasterZiv
Зачем в СУБД -то заливать ? У ТС не было такой задачи.

Судя по названию топика была кадато.

Модератор: Тема перенесена из форума "Проектирование БД".
...
Рейтинг: 0 / 0
19.05.2010, 11:30
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636089
serkir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
serkir
Гость
1) Использовал Ms Sql 2000 + компонент SqlXml на клиенте
2) Проведенные тесты показывали заливку со скоростью 50000 тыс записей в секунду
...
Рейтинг: 0 / 0
19.05.2010, 12:26
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636134
MX-9
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MX-9
Участник
krvsa спит , вот потестил сегодня "свою" СУБД

Код: plaintext
1.
2.
3.
k ^tmpKSA 
s t=$p($h,",", 2 ) 
f i= 1 : 1 : 60000  s ^tmpKSA(i)=i
w !,$p($h,",", 2 )-t

Результат всегда - менее секунды.

Если так

Код: plaintext
f i= 1 : 1 : 1000000  s ^tmpKSA(i)=i

то 2 секунды...

гониш
несерьезно
и что за язык птичий
...
Рейтинг: 0 / 0
19.05.2010, 12:33
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636268
sanyock2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanyock2
Участник
походит на рекламу каше
...
Рейтинг: 0 / 0
19.05.2010, 13:01
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636301
Favn
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Favn
Гость
спитСтоит задача вставлять данные со скоростью 60 000 записей в секунду. Посоветуйте СУБД.Стоит уточнить, что за записи (размер), сложность индекса, что с ними потом делать (частота и сложность аналитики), порядок вставки - постоянно онлайн каждую секунду или пакетно временами.
В принципе, даже если онлайн, ничего особо страшного. Общие пожелания от СУБД - отдельный RAW tablescpace на SSD-дисках (или не на SSD, или не RAW, но хоть с отключенным кешированием от ОС), кластерный индекс по короткому полю (по возможности range или hash), логи на отдельном томе, локальный коннект (без эмуляции IP).
Еще лучше - по возможности пакетная быстрая заливка утилитой/API от СУБД или хотя бы через временную таблицу (эмуляция пакетной заливки).
...
Рейтинг: 0 / 0
19.05.2010, 13:09
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636422
правильный емайл
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
правильный емайл
Участник
SERG1257Плоский файл, который заливается в СУБД в пакетном режиме, через определенные промежутки времени.+1
...
Рейтинг: 0 / 0
19.05.2010, 13:36
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636446
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
krvsa
Участник
MX-9гониш
С какой стати?

MX-9несерьезно
Да брось ты!

MX-9и что за язык птичий
Тут вообще без комментариев...
...
Рейтинг: 0 / 0
19.05.2010, 13:41
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636448
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
krvsa
Участник
sanyock2походит на рекламу каше
Запросто!
...
Рейтинг: 0 / 0
19.05.2010, 13:42
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636462
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
sanyok2походит на рекламу каше
да и фиг с ней, и с рекламой и вообще. Я вот, люблю считать. :-)

60000 записей в секунду. Допустим, запись занимает ... 80 байт.
Это 4.6 мегабайт в секунду. В сутках 86400 секунд.
Значит за сутки будет 395507 мегабайт. Т.е. 395 гиг. Если я (или Excel) нигде не ошибся в подсчетах, то выходит, что за год получится 141 терабайт голых (!) данных.

Отсюда выводы могут быть разными. Либо автор напутал, либо задача исходно безумная, либо все так и есть реально. Во втором случае можно подумать об изменении вида хранения данных, т.е. не записями, а как-то еще. В третьем случае придется подбирать крутое железо и крутую систему хранения и обработки этих данных.
...
Рейтинг: 0 / 0
19.05.2010, 13:46
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636559
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Продам сервер. Недорого )))

Обсуждалась тема и не раз - поиск ТС в помощь.
...
Рейтинг: 0 / 0
19.05.2010, 14:06
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636631
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdv
Либо автор напутал, либо задача исходно безумная, либо все так и есть
реально.

Я бы поставил на то, что он забыл упомянуть одну деталь: данные
удаляются из БД через сутки после занесения.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2010, 14:20
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36636636
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
to DS: ну, он считай что вообще ничего не упомянул, кроме скорости вставки. Мы тут фантазируем, конечно, но зато и ему понятно, что нужно учитывать множество разных неупомянутых факторов.
...
Рейтинг: 0 / 0
19.05.2010, 14:22
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36637986
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Senya_L
Участник
kdvда и фиг с ней, и с рекламой и вообще. Я вот, люблю считать. :-)Возможно автору требуется, чтобы пиковая скорость заливки данных была не меньше 60000 записей/сек и совсем необязательно они льются круглые сутки. Допустим, какой-нибудь контроллер, котороый, собака, не хотит ждать, покуда сервер "съест" данные :)
...
Рейтинг: 0 / 0
19.05.2010, 23:04
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36638518
Westtrd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Westtrd
Гость
спит,

Если не устраивают бинарные файлы,

tokyo cabinet
berkeley

и тому подобное

Все от предметной области тоже зависит
...
Рейтинг: 0 / 0
20.05.2010, 11:48
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36638704
Alexey Kuznetsov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Kuznetsov
Участник
Как то на одной из конференций которую проводило IBM (это было года 2 назад, так что могло что и поменяться).

они говорили что вроде как рекорд по массовой загрузке данных им принадлежит.

в DB2 есть утилита LOAD которая грузит данные напрямую в бд
она вполне себе быстрая.
...
Рейтинг: 0 / 0
20.05.2010, 12:34
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36639025
правильный емайл
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
правильный емайл
Участник
Alexey Kuznetsovв DB2 есть утилита LOAD которая грузит данные напрямую в бд
она вполне себе быстрая.oracle sql*load
...
Рейтинг: 0 / 0
20.05.2010, 13:58
| Ответить | Цитировать | Написать  
Выбор СУБД. Нужна очень быстрая вставка.
    #36641081
-Serg-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-Serg-
Гость
krvsa спит , вот потестил сегодня "свою" СУБД

Код: plaintext
1.
2.
3.
k ^tmpKSA 
s t=$p($h,",", 2 ) 
f i= 1 : 1 : 60000  s ^tmpKSA(i)=i
w !,$p($h,",", 2 )-t

Результат всегда - менее секунды.

Если так

Код: plaintext
f i= 1 : 1 : 1000000  s ^tmpKSA(i)=i

то 2 секунды...

.053389 первый тест, второй тест дает на моей чахлой машине .888376. Откуда 2 сек то берутся.
p.s. используй вместо $p($h,",",2) просто $zh
...
Рейтинг: 0 / 0
21.05.2010, 11:52
| Ответить | Цитировать | Написать  
25 сообщений из 129, страница 1 из 6
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД. Нужна очень быстрая вставка.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&fpage=16&tid=1552776]:
 0ms
get settings:
 10ms
get forum list:
 11ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 32ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 83ms
get tp. blocked users:
 2ms
others: 12ms
total:  170ms
созд. / загр.: 170ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]