ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Запись 10К полей посекундно - какая БД справиться?
23 сообщений из 48, страница 2 из 2
  2  все
Запись 10К полей посекундно - какая БД справиться?
    #32674418
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
Fx400 _Dog
изи - тест ит :) и не нужна и 10..100

(подсказка: у него индексы bitwise, не путать с Оракловскими bitmap. совсем не б-трее)

под ету задачу - не знаю подойдет ли, но если задача анализа данных, VLDB и т.п., то IQ очень даже подходит.

да протестировали - tpc-h ровно в 10 раз медленее оракла ... чуда как и предполагалось не произошло.

ага. куда уж. http://www.tpc.org/tpch/results/tpch_price_perf_results.asp .
...
Рейтинг: 0 / 0
01.09.2004, 02:09
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32674423
Fx400
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fx400
Гость
да sybase - дешево, согласен. есть субд еще дешевле ... но к чему это ?
...
Рейтинг: 0 / 0
01.09.2004, 02:35
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32674795
jvvjvv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jvvjvv
Гость
Вот я тут попробовал на Cache 5.0.4 .

Текст программки такой:

k ^base
w !,"Проверка производительности Cache 5.0.4 "
w !,"Формирование в базе 1000 записей по 10000 полей содержащих случайное число"
w !
s begintime=$p($h,",",2)
f i=1:1:1000 f j=1:1:10000 s data=$r(123456789) s ^base("data",i,j)=data
s delta=+$p($h,",",2)-begintime
w !,"Продолжительность : ",delta," сек."
w !,"Производительность : ",1000\delta," записей в секунду"
w !

Результат следующий:

USER> d ^testrecord
Проверка производительности Cache 5.0.4
Формирование в базе 1000 записей по 10000 полей содержащих случайное число

Продолжительность : 48 сек.
Производительность : 20 записей в секунду

USER >
...
Рейтинг: 0 / 0
01.09.2004, 10:51
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32674978
jvvjvv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jvvjvv
Гость
Выяснилось что предыдущий пример показывает не скорость записи, а время, потраченное на формирование значений полей и запись их в базу.
Чтобы проверить сколько времени потребуется на "только запись", я написал следующую программку:
k ^base
w !,"Проверка производительности Cache 5.0.4 "
w !,"Формирование в базе 1000 записей по 10000 полей содержащих случайное число"
w !
s data=""
f i=1:1:20000 s data=data_$c($r(256))
s begintime=$p($h,",",2)
f i=1:1:1000 s ^base("data",i)=data
s delta=+$p($h,",",2)-begintime
w !,"Продолжительность : ",delta," сек."
w !,"Производительность : ",1000\delta," записей в секунду"

Здесь в цикле f i=1:1:20000 s data=data_$c($r(256)) формируется строка из 20000 байт (по 2 байта на датчик) и далее в другом цикле она записывается в базу.

Результат следующий:

USER> d ^testrecord
Проверка производительности Cache 5.0.4
Формирование в базе 1000 записей по 10000 полей содержащих случайное число

Продолжительность : 5 сек.
Производительность : 200 записей в секунду

USER >

Можно сделать вывод что Cache в состоянии записывать данные с нужной автору топика скоростью.
Остается открытым вопрос с какой соростью будет считываться информация с датчиков.
...
Рейтинг: 0 / 0
01.09.2004, 11:53
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32676609
Игорь_Б
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Игорь_Б
Гость
Господа!
А почему не одно или несколько длинннных полей?
Запаковать/выделить достаточно быстрая операция в любой промышленной СУБД
...
Рейтинг: 0 / 0
02.09.2004, 08:53
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32677482
hek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hek
Гость
Игорь_БГоспода!
А почему не одно или несколько длинннных полей?
Запаковать/выделить достаточно быстрая операция в любой промышленной СУБД
чем дальше тем страшнее :)
ничего не знаю о длинных полях. можешь подкинешь ссылку?
...и потом выдернуть из сайбейс одно поле каждую секунду, будет сподручнее, чем каждую секунду распаковывать некое длинное поле.

2ALL
А писать 10к записей вертикально в MSSQL 2k (по схеме идентификатор - время - значение), этакий цикл на 10к инсертов - это нормально? Справиться ли он ежесекундно?
...
Рейтинг: 0 / 0
02.09.2004, 13:54
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32678538
Игорь_Б
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Игорь_Б
Гость
hek Игорь_БГоспода!
А почему не одно или несколько длинннных полей?
Запаковать/выделить достаточно быстрая операция в любой промышленной СУБД
чем дальше тем страшнее :)
ничего не знаю о длинных полях. можешь подкинешь ссылку?
...и потом выдернуть из сайбейс одно поле каждую секунду, будет сподручнее, чем каждую секунду распаковывать некое длинное поле.

2ALL
А писать 10к записей вертикально в MSSQL 2k (по схеме идентификатор - время - значение), этакий цикл на 10к инсертов - это нормально? Справиться ли он ежесекундно?

на первый вопрос:

пример из документации MS SQL 2000:

binary and varbinary
Binary data types of either fixed-length (binary) or variable-length (varbinary).

binary [ ( n ) ]

Fixed-length binary data of n bytes. n must be a value from 1 through 8,000. Storage size is n+4 bytes.

varbinary [ ( n ) ]

Variable-length binary data of n bytes. n must be a value from 1 through 8,000. Storage size is the actual length of the data entered + 4 bytes, not n bytes. The data entered can be 0 bytes in length. The SQL-92 synonym for varbinary is binary varying.



на второй вопрос: 2000 записей -13 мс (MS SQL 2000 Compaq P III 700MHc 384 MB memory с использованием insert ..select... from OPENXML(..))
...
Рейтинг: 0 / 0
03.09.2004, 08:01
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32679247
AlexB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlexB
Участник
А может просто разбить датчики на неколько групп и для каждой группы сервер?
...
Рейтинг: 0 / 0
03.09.2004, 13:15
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32679373
hek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hek
Гость
AlexBА может просто разбить датчики на неколько групп и для каждой группы сервер?
да, решение простое (без групп сервероы) .... и безумно неудобное

Игорь_Б
на второй вопрос: 2000 записей -13 мс (MS SQL 2000 Compaq P III 700MHc 384 MB memory с использованием insert ..select... from OPENXML(..))


вот такие вот неутешительные результаты:

CREATE PROCEDURE dbo.testproc AS
declare @counter integer
set @counter=1
while 1=1
begin
insert into VTable (ID,MeasureDate,Value) VALUES (11,'2004-12-11 13:00:00',0.234523)
set @counter=@counter+1
if(@counter= 2000 )
goto Next
end
Next:
return
GO

все это за 500~600 мс
Тест производился из CBuilder компонентом ADOStoredProc
...
Рейтинг: 0 / 0
03.09.2004, 14:00
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32679895
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
insert into ... values - самый медленный способ.
Каждый insert логируется.
insert into ... select должен быстрее работать, поскольку логируется операция вставки сразу многих строк.
Через bcp или bulk load вставка быстрее будет, поскольку эта операция не логируется.

Тем более Вы запускаете свою процедуру через ADO. Наверное, ещё и через сеть?

А обязательно именно каждую секунду вставки сделать или можно массированно загружать через определённые интервалы времени?
Если можно, то надо попробовать через bcp.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
03.09.2004, 17:23
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32680760
f_w_p
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
f_w_p
Участник
АнтилохКогда-то читал в истории создания interbase, что у них есть поля типа "массив" и добавлены они по просьбе каких-то лётчиков, которым "требовалось хранить данные, получаемые
единовременно с большого количества датчиков в БД, и обрабатывать эти данные по горизонтали и по вертикали" Кто-нибудь реально использовал эту фичу ?
Не летчиков, а конструкторов фирмы "Боинг". Правда не знаю какое количество датчиков у них было. Сколько надо датчиков при обдуве модели в АД трубе?
P.S. А шуточки про танки и подводные лодки - это отнезнания или от "недостатков" характера?
...
Рейтинг: 0 / 0
06.09.2004, 08:39
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32680768
f_w_p
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
f_w_p
Участник
hekНужна база, в которую можно без проблем писать около 10 000 параметров (полей) ежесекундно. Чтение также посекундными запросами (около 15 клиентов). Остальным клиентам информация предоставляется в виде выборки за сутки, например. Смотрю с сторону SyBase IQ 12.5 - кто использовал в подобных задачах насколько эффективно?
Зайди на форум FireBird. Там такие задачи периодически обсуждаются. Кстати, участник форума Zmeishe (если не ошибаюсь) разбирался с массивами. М.б. он тебе чего посоветует.
...
Рейтинг: 0 / 0
06.09.2004, 08:54
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32681160
funikovyuri
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
funikovyuri
Участник
hek
А писать 10к записей вертикально в MSSQL 2k (по схеме идентификатор - время - значение), этакий цикл на 10к инсертов - это нормально? Справиться ли он ежесекундно?

Более чем, а вот то что 10k полей - нормально я сильно сомневаюсь

Код: plaintext
1.
2.
CREATE PROCEDURE dbo.testproc AS
...
Про SET NOCOUNT ON вы не забыли?


Константин Лисянский
Тем более Вы запускаете свою процедуру через ADO. Наверное, ещё и через сеть?

При чем тут ADO с сетью?
...
Рейтинг: 0 / 0
06.09.2004, 12:14
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32681192
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
При чем тут ADO с сетью?

Мне показалось, что время, которое требуется на запуск ХП по сети может добавить значительно ко времени её выполнения.
Просто, предположение.


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
06.09.2004, 12:28
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32681245
Фотография Лох Позорный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лох Позорный
Участник
f_w_pP.S. А шуточки про танки и подводные лодки - это отнезнания или от "недостатков" характера?
Это от здорового чувства юмора, которое просыпается каждый раз, когда упоминают систему управления артстрельбой, перезагружающуюся от своих же собственных выстрелов
...
Рейтинг: 0 / 0
06.09.2004, 12:55
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32681345
Фотография eNose
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eNose
Участник
[не активирован]
[не одобрен]
Лох Позорный f_w_pP.S. А шуточки про танки и подводные лодки - это отнезнания или от "недостатков" характера?
Это от здорового чувства юмора, которое просыпается каждый раз, когда упоминают систему управления артстрельбой, перезагружающуюся от своих же собственных выстрелов
ЛП, ничего смешного: когда IB делали (не помню кто, по заказу военного чего-та там в юсе), ДискОнЧип еще не изобрели.
...
Рейтинг: 0 / 0
06.09.2004, 13:43
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32681366
Фотография Лох Позорный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лох Позорный
Участник
2 eNose
Дабы оффтоп не плодить - запусти в этом разделе форума поиск по слову "Абрамсь"
Оно тебя приведет к подробному обсуждению
...
Рейтинг: 0 / 0
06.09.2004, 13:50
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32681749
Фотография eNose
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eNose
Участник
[не активирован]
[не одобрен]
Лох Позорный2 eNose
Дабы оффтоп не плодить - запусти в этом разделе форума поиск по слову "Абрамсь"
Оно тебя приведет к подробному обсуждению
Я его видел :-)
И про кнопку РЕСЕТ на пушке знаю
...
Рейтинг: 0 / 0
06.09.2004, 16:07
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32682417
f_w_p
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
f_w_p
Участник
eNoseЛП, ничего смешного: когда IB делали (не помню кто, по заказу военного чего-та там в юсе), ДискОнЧип еще не изобрели.
Да ты обрати внимание, что шуточки-прибауточки про танк начались, хотя о нем ничего не упоминали вовсе. Вот мне и интересно какая связь между типом данных, введенным в СУБД именно для обработки экспериментальных данных и легендой об "Абрамсе"?
Был IB на танках или нет - недоказуемо. А тип данных есть. Применяется. Тем ни менее сразу шуточки. Поэтому насчет здорового чувства юмора сомнительно.
P.S. Кстати, интересная деталь. На форуме IB/FB подобные задачи обсуждаются и довольно часто, а на остальных все больше склады, бухгалтерии и т.п. К чему бы это?
...
Рейтинг: 0 / 0
07.09.2004, 08:34
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32682476
Фотография Лох Позорный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лох Позорный
Участник
2 f_w_p
Обращаю внимание тех кто в танке - шуточки про танк начались после того, как был упомянут самолет. Летающий вертикально и горизонтально.

P.S. Кстати, интересная деталь. На форуме IB/FB подобные задачи обсуждаются и довольно часто, а на остальных все больше склады, бухгалтерии и т.п.
Что обсуждается на форуме IB/FB? Танки и самолеты??? Ну бог в помощь.

З.Ы. Запустил в форуме IB поиск по словам "танк" и "самолет". Опять нашел " Пример разрабоки базы данных для автоматизации ведения огня танком Абрамс. " - 1 штук, и " Легенда гласит, что массивы были введены в IB по просьбе сотрудников фирмы Боинг. " - 1 штук.
К чему бы это?
...
Рейтинг: 0 / 0
07.09.2004, 09:24
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32682492
alex_k
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex_k
Участник
Лох ПозорныйОбращаю внимание тех кто в танке - шуточки про танк начались после того, как был упомянут самолет. Летающий вертикально и горизонтально.
поздравляю тебя соврамши.
про "летающий вертикально и горизонтально" самолет ты упомянул после того как ты же упомянул танк "абрамсь". шуточками это трудно назвать, регина дубовицкая отдыхает, но всеже... как то это действительно нездорОво.
...
Рейтинг: 0 / 0
07.09.2004, 09:32
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32682515
Фотография Лох Позорный
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лох Позорный
Участник
Да, действительно, не был самолет упомянут. Были упомянуты летчики.
Прошу прощения, самолет я выдумал сам. Летчики летали на танке.

ухожу, ухожу, ухожу.
пусть фанаты IB хоть на самокаты его ставят.
...
Рейтинг: 0 / 0
07.09.2004, 09:46
| Ответить | Цитировать | Написать  
Запись 10К полей посекундно - какая БД справиться?
    #32683058
f_w_p
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
f_w_p
Участник
Лох ПозорныйДа, действительно, не был самолет упомянут. Были упомянуты летчики.Прошу прощения, самолет я выдумал сам. Летчики летали на танке.
ухожу, ухожу, ухожу. пусть фанаты IB хоть на самокаты его ставят.
А по-моему летчеком является сам ЛП. Исповедует принцип - "Прилетел, наср...л и улетел". А по существу задачи ничего и не сказал.
...
Рейтинг: 0 / 0
07.09.2004, 12:48
| Ответить | Цитировать | Написать  
23 сообщений из 48, страница 2 из 2
  2  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Запись 10К полей посекундно - какая БД справиться?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]