ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Запись 10К полей посекундно - какая БД справиться?
25 сообщений из 48, страница 1 из 2
  1  все
Запись 10К полей посекундно - какая БД справиться?
    #32670403
hek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hek
Гость
Нужна база, в которую можно без проблем писать около 10 000 параметров (полей) ежесекундно. Чтение также посекундными запросами (около 15 клиентов). Остальным клиентам информация предоставляется в виде выборки за сутки, например. Смотрю с сторону SyBase IQ 12.5 - кто использовал в подобных задачах насколько эффективно?
...
Рейтинг: 0 / 0
30.08.2004, 07:28
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32670519
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Серега
Участник
hekНужна база, в которую можно без проблем писать около 10 000 параметров (полей) ежесекундно. Чтение также посекундными запросами (около 15 клиентов). Остальным клиентам информация предоставляется в виде выборки за сутки, например. Смотрю с сторону SyBase IQ 12.5 - кто использовал в подобных задачах насколько эффективно?
Я тут прикинул на калькуляторе - без малого миллиард записей в сутки. Скока суток подряд писать надо? Че то фантастическое вырисовывается, ИМХО. Что за задача то?
...
Рейтинг: 0 / 0
30.08.2004, 09:41
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32670549
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
hekНужна база, в которую можно без проблем писать около 10 000 параметров (полей) ежесекундно. Чтение также посекундными запросами (около 15 клиентов). Остальным клиентам информация предоставляется в виде выборки за сутки, например. Смотрю с сторону SyBase IQ 12.5 - кто использовал в подобных задачах насколько эффективно?

Эти 10000 полей - одна запись(для IQ это не проблема)? Писать - имеется ввиду операция insert или загрузка из файла (bulk load)?

Какого типа запросы (ежесекундные)? "выборки за сутки" - что это?
...
Рейтинг: 0 / 0
30.08.2004, 10:04
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32670601
hek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hek
Гость
например, 30 суток (месяц) , после этого данные можно архивировать усредняя секундные до минутных. По моим прикидкам для полей типа float(4 байта) на сутки выходит ~ 3Гб, что вполне приемлимо.
Задача же стоит в хранении данных с тучи различных датчиков.
...
Рейтинг: 0 / 0
30.08.2004, 10:27
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32670609
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASCRUS
Участник
Sybase IQ не предназначен для использования как OLTP и эффективно данные подгружает только через LOAD TABLE, который вызывается для подгрузки данных через определенные промежутки времени. Если запросы пользователей должны сразу учитывать добавленные в реалтайме записи, то тут он ничем не поможет. Насколько я знаю, у Sybase на базе ASE сделан RealTime Database Server, можно посмотреть его характеристики.
...
Рейтинг: 0 / 0
30.08.2004, 10:28
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32670789
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
ASCRUSSybase IQ не предназначен для использования как OLTP и эффективно данные подгружает только через LOAD TABLE, который вызывается для подгрузки данных через определенные промежутки времени. Если запросы пользователей должны сразу учитывать добавленные в реалтайме записи, то тут он ничем не поможет. Насколько я знаю, у Sybase на базе ASE сделан RealTime Database Server, можно посмотреть его характеристики.

И да и нет. :)

IQ может потянуть инстерт 3600 записей в час, но надо попробовать(т.к. запись очень широкая).

Если это задача типа: датчики пишут в какой-то фаил(тхт/дбф, цсв), и эти данные надо обрабатывать/хранить - то это классика для IQ, все будет работать ок.

Если хотите грузить инсертами - то надо тестировать. Я бы советовал грузить из фаилов.

Тип данных для IQ подходит. Если число различных значений в одном поле не велико, то данные не плохо сожмутся. Т.е. из планируемых 3ГБх365=~1Tb в IQ будут лежать ~300-400Gb.
...
Рейтинг: 0 / 0
30.08.2004, 11:34
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671610
Велосипедист
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Велосипедист
Гость
Вот и проявилось полное ничтожество Oracle!!!!!!!
У него, по крайней мере в 9.2, в таблице "1000 columns maximum".
"Оракле - мастдай, Сайбэйс - форева!!!" :-)))
P.S. Вообще, постановка задачи дикая. В промышленных решениях применяют связку идентификатор источника - метка времени - значение - идентификатор параметра (необязательно).
...
Рейтинг: 0 / 0
30.08.2004, 16:04
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671706
Фотография ну я
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ну я
Участник
В одну секунду всего 10К полей и одна запись? Из-за этого маета? Не морочьте людям голову.
...
Рейтинг: 0 / 0
30.08.2004, 16:32
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671714
Фотография ну я
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ну я
Участник
Чтобы не быть голословным, код для вставки 10 тыщ значений:
test()
w $zts,!
n i,rec,id,param
s id=$i(^ddd)
f i=1:1:10000 d
. s param=$r(100000)
. s ^ddd(id,i)=param
w $zts,!
q
занимает 60 миллисек на ширпотребной тачке.

Вопрос: что Вы не договариваете?
...
Рейтинг: 0 / 0
30.08.2004, 16:35
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671763
Антилох
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Антилох
Гость
Когда-то читал в истории создания interbase, что у них есть поля типа "массив" и добавлены они по просьбе каких-то лётчиков, которым "требовалось хранить данные, получаемые
единовременно с большого количества датчиков в БД, и обрабатывать эти данные по горизонтали и по вертикали"

Ктонибудь реально использовал эту фичу ?
...
Рейтинг: 0 / 0
30.08.2004, 16:46
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671816
Фотография Лох Позорный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лох Позорный
Участник
Когда-то читал в истории создания interbase, что у них есть поля типа "массив" и добавлены они по просьбе каких-то лётчиков
Что за чудо-СУБД этот интербейз!
То в танк Абрамсь его поставят (как единственную СУБД, способную выдержать прямое попадание артилеристского снаряда), то в самолет, летающий горизонтально и вертикально...
Если интербейз еще и на подводных лодках стоит - то я его уже боюсь.
...
Рейтинг: 0 / 0
30.08.2004, 17:02
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671878
Dedushka Mazai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dedushka Mazai
Участник
стоит - точно стоит. ежели прямое попадание артснаряда выдерживает, то какая-нибудь торпеда - это так, детские игрушки
...
Рейтинг: 0 / 0
30.08.2004, 17:21
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671959
DimaR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DimaR
Участник
И что будет когда через пол года эксплуатации добавится 10001 датчик?
...
Рейтинг: 0 / 0
30.08.2004, 17:43
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32671970
Фотография Лох Позорный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лох Позорный
Участник
И что будет когда через пол года эксплуатации добавится 10001 датчик?
подводная лодка утонет?
...
Рейтинг: 0 / 0
30.08.2004, 17:46
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32672405
hek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hek
Гость
_Dog
Эти 10000 полей - одна запись(для IQ это не проблема)?

да, одна запись

_Dog
Писать - имеется ввиду операция insert или загрузка из файла (bulk load)?

Не представляю сеье что такое bulk load

_Dog
Какого типа запросы (ежесекундные)? "выборки за сутки" - что это?

Ежесекундные, например, отображается график realtime по одному полю (сумме полей).
Выборка за сутки - чаще по нескольким полям выбрать, например, данные по температуре и давлению чего-то с 8.00 30.08.04 до 08.00 31.08.04, опять же все это на график

ASCRUS
Sybase IQ не предназначен для использования как OLTP и эффективно данные подгружает только через LOAD TABLE, который вызывается для подгрузки данных через определенные промежутки времени. Если запросы пользователей должны сразу учитывать добавленные в реалтайме записи, то тут он ничем не поможет. Насколько я знаю, у Sybase на базе ASE сделан RealTime Database Server, можно посмотреть его характеристики.

Вот-вот, как только записалось, так сразу и считалось - это для ежесекундных запросов.
Что-т информация по RealTime Database Server скудная, а точнее ее совсем нет.

_Dog
Если хотите грузить инсертами - то надо тестировать.

А IQ водится в демо- или пиратской версии вообще?

Велосипедист
В промышленных решениях применяют связку идентификатор источника - метка времени - значение - идентификатор параметра (необязательно).

Да, есть и такой вариант реализации, просто решил копнуть, может что-то придумали лучшее (более естественное чтоли).

Ну я
Чтобы не быть голословным, код для вставки 10 тыщ значений:
test()
w $zts,!
n i,rec,id,param
s id=$i(^ddd)
f i=1:1:10000 d
. s param=$r(100000)
. s ^ddd(id,i)=param
w $zts,!
q
занимает 60 миллисек на ширпотребной тачке.

Вопрос: что Вы не договариваете?

А вот такая у нас незадача случается при тесте на MSSQL. Пишется 10 полей ежесекундно (CBuilder через ADO) ... и в сутки терятся от 10-50 записей.

DimaR
И что будет когда через пол года эксплуатации добавится 10001 датчик?

Да кстати, а что будет, если нужно через некоторое время в IQ добавить пару десятков полей?
...
Рейтинг: 0 / 0
31.08.2004, 07:14
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32672412
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
hek _Dog
Эти 10000 полей - одна запись(для IQ это не проблема)?

да, одна запись

для IQ это не проблема


Не представляю сеье что такое bulk load


ето когда записи первоначально поступают в какой то файл который считывается IQ


Что-т информация по RealTime Database Server скудная, а точнее ее совсем нет. ИМЧО - ето не о Вашей проблеме.

А IQ водится в демо- или пиратской версии вообще?
Не знаю как с етим там где жы сидите, в моей стране мне был привезен компакт и проведены курсы/демонстрации (2х6-8 часов) .

Да кстати, а что будет, если нужно через некоторое время в IQ добавить пару десятков полей?
ето цовсем без проблем. хоть несколько, хоть несколько тысяч.
...
Рейтинг: 0 / 0
31.08.2004, 07:34
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32672423
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
_Dog ИМЧО , цовсем
ИМХО и совсем

советую обратиться в локальный сайбеис. Ети выборки - по моему для них не обязательно иметь IQ (IQ на них чудес скорее всего не покажет, вот если бы посчитать ету кучу данных...)
...
Рейтинг: 0 / 0
31.08.2004, 07:59
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32672559
andsm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andsm
Участник
hekА вот такая у нас незадача случается при тесте на MSSQL. Пишется 10 полей ежесекундно (CBuilder через ADO) ... и в сутки терятся от 10-50 записей.
Если теряются записи, то проблема в программе загрузки или где-то еще раньше. Сколько лет работаю с SQL Server, данные не терялись, за исключением случая когда полетел диск. Если вы так же напишите программу для Sybase IQ или для чего-то другого, что захотите использовать, то будут аналогичные проблемы.
...
Рейтинг: 0 / 0
31.08.2004, 09:49
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32672906
flaxima
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
flaxima
Гость
Когда-то слышал что Berkley DB имеет одну из наилучших скоростей на простых данных.

Может подойдет?
...
Рейтинг: 0 / 0
31.08.2004, 11:55
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32673226
Фотография Хрен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хрен
Участник
По результатам crash-me из mysql benchmarks - максимальное количество колонок которые держат (в default configuration):

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
DB2 8.1 /odbc            500
frontbase                    >8000
informix 7.24UC5       5888
interbase 7.0              4759
mimer 8.2/odbc         252
mimer 9.1/odbc         252
msql                           75
ms-sql8.0/odbc         1024
mysql 4.1(myisam)  2599
mysql 4.1(innodb)    1000
oracle 9i(win)            1000
postgres 7.4.5          1600
sapdb7.5                   1023
solid 03.00                1000
sqlite 2.8.0                >8000
sybase asa8/odbc    >8000
sybase ASE11.03      250

А вообще таблица с таким количеством полей говорит скорее о неправильном пректировании. я думаю вам даже проиндексировать ее эффективно неудастся.
...
Рейтинг: 0 / 0
31.08.2004, 13:27
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32673242
Фотография Лох Позорный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лох Позорный
Участник
авторя думаю вам даже проиндексировать ее эффективно неудастся.
Почему же? Всего 10000 индексов - и золотой ключик у нас в кармане.
...
Рейтинг: 0 / 0
31.08.2004, 13:33
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32674370
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
ХренПо результатам crash-me из mysql benchmarks - максимальное количество колонок которые держат (в default configuration):

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
DB2 8.1 /odbc            500
frontbase                    >8000
informix 7.24UC5       5888
interbase 7.0              4759
mimer 8.2/odbc         252
mimer 9.1/odbc         252
msql                           75
ms-sql8.0/odbc         1024
mysql 4.1(myisam)  2599
mysql 4.1(innodb)    1000
oracle 9i(win)            1000
postgres 7.4.5          1600
sapdb7.5                   1023
solid 03.00                1000
sqlite 2.8.0                >8000
sybase asa8/odbc    >8000
sybase ASE11.03      250

А вообще таблица с таким количеством полей говорит скорее о неправильном пректировании. я думаю вам даже проиндексировать ее эффективно неудастся.

В IQ каждое поле автоматически проиндексировано. Такие вот чудеса, г-н Хрен. Полей может быть 16000(в настояшей версии). И повторюсь, размер полностью проиндексирожанной базы будет меньше объема исходных данных
По пожоду оптимальности, кроме 3NF, сушествуют и другие схемы...
...
Рейтинг: 0 / 0
31.08.2004, 23:10
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32674386
Фотография Хрен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хрен
Участник
Ой..
г-н Dog, возможно я слишком старый, но вот не верю я в "серебряную пулю" и "лекарство от всех болезней". Особенно когда говорят о "10..100 увеличении скорости" и о том что нормализация не нужна.

Возможно, что sybase iq и есть тот продукт, который подходит под эту задачу (я нигде и не утверждал что это не так), но скорректировать 10000 индексов раз в секунду - извините, в чудеса не верю. Хотя, конечно от компьютера зависит.
...
Рейтинг: 0 / 0
31.08.2004, 23:39
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32674393
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
ХренОй..
г-н Dog, возможно я слишком старый, но вот не верю я в "серебряную пулю" и "лекарство от всех болезней". Особенно когда говорят о "10..100 увеличении скорости" и о том что нормализация не нужна.

Возможно, что sybase iq и есть тот продукт, который подходит под эту задачу (я нигде и не утверждал что это не так), но скорректировать 10000 индексов раз в секунду - извините, в чудеса не верю. Хотя, конечно от компьютера зависит.

изи - тест ит :) и не нужна и 10..100

(подсказка: у него индексы bitwise, не путать с Оракловскими bitmap. совсем не б-трее)

под ету задачу - не знаю подойдет ли, но если задача анализа данных, VLDB и т.п., то IQ очень даже подходит.
...
Рейтинг: 0 / 0
31.08.2004, 23:57
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32674417
Fx400
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fx400
Гость
_Dog
изи - тест ит :) и не нужна и 10..100

(подсказка: у него индексы bitwise, не путать с Оракловскими bitmap. совсем не б-трее)

под ету задачу - не знаю подойдет ли, но если задача анализа данных, VLDB и т.п., то IQ очень даже подходит.

да протестировали - tpc-h ровно в 10 раз медленее оракла ... чуда как и предполагалось не произошло.
...
Рейтинг: 0 / 0
01.09.2004, 02:03
| Ответить | Цитировать | Написать  
25 сообщений из 48, страница 1 из 2
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Запись 10К полей посекундно - какая БД справиться?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]