ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
22 сообщений из 22, страница 1 из 1
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38228620
Inside22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Inside22
Гость
Доброго дня DBA и всем людям работающим с БД.

Вчера я первый раз услышал о существовании БД под названием Kdb+ , о которой очень мало информации в интернете, но очень много хвалебных речей на сайте http://kx.com/ компании-разработчика.

Как я понял Kdb+ относится к типу In-memory database и главное ее преимущество в том, что она может обрабатывать большие объемы данных.

Судя по информации на сайте Kdb+ в основном используется финансовыми структурами, оно и ясно, потому что брокеры оперируют огромными объемами данных в режиме онлайн.

Я хотел спросить у вас, какие есть на рынке базы данных, которые способные оперировать тысячами и десятками тысячь запросов в секунду?
...
Рейтинг: 0 / 0
17.04.2013, 10:29
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38228635
Фотография vromanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vromanov
Участник
Inside22,

TimesTen. Вот внизу отчетик по 20 самым популярным запросам на сервере. Как видно средний CPS 33698. При этом машинка загружена на 40%. Она еще и реплицирет изменения на второй узел в кластере. Т.е. она может и больше, просто у меня нагрузка ограничена.

Машинка - десктоп
model name : Intel(R) Core(TM) i7 CPU K 875 @ 2.93GHz
stepping : 5
cpu MHz : 1200.000
cache size : 8192 KB

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
                                        |     Total |      Total |       Total |       Total |      Total | Total |   Total |   Total |   Periodic |    Periodic |    Periodic |   Periodic |  Per. |
                         Statement name |     Count |        CPS |     AvgExec |    AvgFetch |       Full |     % | MaxExec |MaxFetch |        CPS |     AvgExec |    AvgFetch |       Full |     % |
----------------------------------------|-----------|------------|-------------|-------------|------------|-------|---------|---------|------------|-------------|-------------|------------|-------|
               pcrf.stmt_update_session |    156987 |   2377.510 |      0.1214 |             |    288.606 | 37.09 |    80.4 |         |   2346.607 |      0.1101 |             |    258.342 | 33.38 |
        pcrf.stmt_get_peer_info_by_host |    180218 |   2729.335 |      0.0113 |      0.0019 |     36.257 |  4.66 |     6.3 |     1.7 |   2779.024 |      0.0111 |      0.0019 |     36.214 |  4.68 |
                  pcrf.stmt_get_session |    211129 |   3197.471 |      0.0090 |      0.0021 |     35.454 |  4.56 |    19.7 |     3.8 |   3351.582 |      0.0083 |      0.0021 |     34.967 |  4.52 |
               pcrf.stmt_get_connection |    180218 |   2729.335 |      0.0102 |      0.0022 |     33.817 |  4.35 |    46.0 |     3.1 |   2779.024 |      0.0129 |      0.0022 |     41.932 |  5.42 |
               pcrf.stmt_get_gx_session |    195192 |   2956.111 |      0.0099 |      0.0009 |     31.864 |  4.10 |     7.6 |     1.9 |   3053.308 |      0.0094 |      0.0010 |     31.495 |  4.07 |
  pcrf.stmt_update_connection_last_used |    180218 |   2729.335 |      0.0104 |             |     28.389 |  3.65 |     7.1 |         |   2779.024 |      0.0115 |             |     31.849 |  4.11 |
      pcrf.stmt_merge_session_blob_data |     26393 |    399.712 |      0.0660 |             |     26.381 |  3.39 |    36.1 |         |    464.004 |      0.0462 |             |     21.445 |  2.77 |
          pcrf.stmt_get_peer_info_by_id |    180272 |   2730.153 |      0.0070 |      0.0022 |     25.064 |  3.22 |    33.2 |     3.1 |   2779.024 |      0.0059 |      0.0023 |     22.679 |  2.93 |
        pcrf.stmt_get_session_blob_data |    186211 |   2820.097 |      0.0061 |      0.0005 |     18.589 |  2.39 |     7.1 |     1.1 |   2889.378 |      0.0066 |      0.0005 |     20.373 |  2.63 |
     pcrf.stmt_get_session_for_event_my |     18774 |    284.325 |      0.0609 |             |     17.313 |  2.23 |    59.9 |         |    313.667 |      0.0423 |             |     13.282 |  1.72 |
               pcrf.stmt_insert_session |      9545 |    144.556 |      0.1148 |             |     16.590 |  2.13 |    22.8 |         |    164.730 |      0.0930 |             |     15.314 |  1.98 |
                            pcrf.commit |     19408 |    293.927 |      0.0499 |             |     14.675 |  1.89 |    16.6 |         |    354.650 |      0.0678 |             |     24.034 |  3.11 |
        pcrf.stmt_get_subscriber_accums |     62466 |    946.025 |      0.0117 |      0.0029 |     13.826 |  1.78 |    13.9 |     1.9 |   1104.333 |      0.0115 |      0.0031 |     16.113 |  2.08 |
           pcrf.stmt_merge_channel_info |     10369 |    157.035 |      0.0846 |             |     13.290 |  1.71 |    28.2 |         |    182.323 |      0.1008 |             |     18.382 |  2.37 |
      pcrf.stmt_get_subscriber_services |     31233 |    473.012 |      0.0187 |      0.0029 |     10.230 |  1.31 |     5.5 |     1.8 |    552.166 |      0.0161 |      0.0027 |     10.378 |  1.34 |
   pcrf.stmt_update_event_by_session_id |     10844 |    164.228 |      0.0619 |             |     10.171 |  1.31 |    19.0 |         |    193.718 |      0.0543 |             |     10.516 |  1.36 |
              pcrf.stmt_to_kill_add_try |      9402 |    142.390 |      0.0693 |             |      9.867 |  1.27 |    30.9 |         |    175.326 |      0.0606 |             |     10.626 |  1.37 |
pcrf.stmt_update_subscriber_last_online |     15636 |    236.801 |      0.0329 |             |      7.800 |  1.00 |    15.3 |         |    275.883 |      0.0276 |             |      7.624 |  0.98 |
                            pcrf.direct |        66 |      1.000 |      0.1191 |      6.7949 |      6.911 |  0.89 |     0.2 |     4.8 |      1.000 |      0.1122 |      7.8782 |      7.987 |  1.03 |
              pcrf.stmt_increment_accum |      6227 |     94.306 |      0.0644 |             |      6.075 |  0.78 |    65.2 |         |    111.553 |      0.0337 |             |      3.759 |  0.49 |
----------------------------------------|-----------|------------|-------------|-------------|------------|-------|---------|---------|------------|-------------|-------------|------------|-------|
                                   SUMM |   2224540 |  33689.841 |             |             |    778.081 |       |         |         |  36132.916 |     34.0305 |     61.0083 |    774.021 |       |
...
Рейтинг: 0 / 0
17.04.2013, 10:39
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38228644
Фотография vromanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vromanov
Участник
vromanov,

Почитал повнимательнее. И понял что Timesten совсем другое..
...
Рейтинг: 0 / 0
17.04.2013, 10:42
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38228665
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
авторКак я понял Kdb+ относится к типу In-memory database и главное ее преимущество в том, что она может обрабатывать большие объемы данных
In-memory vs Большие vs Транзакционная целостность

Карточная система
http://www.openwaygroup.com/news_card.jsp?dcion=348&rgn=1&lng=1

WAY4OpenWay, an international software developer, today announced that its switch and card management solution, WAY4, has successfully demonstrated fault tolerance capability running on Oracle Real Application Clusters at the Oracle-Red Hat Linux Enterprise Applications Porting (LEAP) Centre in Singapore.

Работает на оракле. Разработчик упомянутоой в старт-посте базы - столь же гениальный, сколь и сумасшедший, языки K и J - шедевры програмистского безумия.
...
Рейтинг: 0 / 0
17.04.2013, 10:51
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38229531
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Inside22Я хотел спросить у вас, какие есть на рынке базы данных, которые способные
оперировать тысячами и десятками тысячь запросов в секунду?
Проще сказать какие этого не умеют (на адекватном железе). MS Access не умеет.

И, как уже сказали, In-memory и "большие объёмы данных" как-то плохо согласуются: на
железе с парой террабайт ОЗУ любая СУБД становится "In-memory" с помощью кэша.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.04.2013, 16:25
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38231161
Inside22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Inside22
Гость
Dimitry SibiryakovInside22Я хотел спросить у вас, какие есть на рынке базы данных, которые способные
оперировать тысячами и десятками тысячь запросов в секунду?
Проще сказать какие этого не умеют (на адекватном железе). MS Access не умеет.

И, как уже сказали, In-memory и "большие объёмы данных" как-то плохо согласуются: на
железе с парой террабайт ОЗУ любая СУБД становится "In-memory" с помощью кэша.


Так MySQL тоже не справится с такой нагрузкой ;-)
...
Рейтинг: 0 / 0
18.04.2013, 16:16
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38231179
Inside22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Inside22
Гость
vromanov , спасибо большое за информацию.

CPS - это Characters per second?

Total CPS: 33689.841 - это кол-во запросов? А за какой период времени?
...
Рейтинг: 0 / 0
18.04.2013, 16:21
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38231446
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Inside22Так MySQL тоже не справится с такой нагрузкой ;-)

Боюсь, что в разделе MySQL с Вами не согласятся.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.04.2013, 18:01
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38231834
Фотография vromanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vromanov
Участник
Inside22 vromanov , спасибо большое за информацию.

CPS - это Characters per second?

Total CPS: .841 - это кол-во запросов? А за какой период времени?
CPS - это среднее количество запросов в секнуду. Call Per Second
Колонки:
имя запроса

общее количество запросов с момента запуска утилиты слежения

средний CPS с момента запуска

Среднее время выполенния запроса в ms

Среднее время вычитывания данных (fetch) если запрос их возращает

33689 - количество запросов в секунду. А общее количество запросов - 2224540.

Но это врсе только за время запука утилиты.. А так у нас система с такой нагрузкой работает неделями
...
Рейтинг: 0 / 0
18.04.2013, 23:57
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38231865
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сергей Васкецов
Участник
Dimitry SibiryakovInside22Так MySQL тоже не справится с такой нагрузкой ;-)

Боюсь, что в разделе MySQL с Вами не согласятся.

Боюсь что это на грани, так например 33689 запросов в секунду MySQL не потянет, а раз в 10 меньше - потянет.
...
Рейтинг: 0 / 0
19.04.2013, 00:40
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38231902
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Сергей ВаскецовБоюсь что это на грани, так например 33689 запросов в секунду MySQL
не потянет, а раз в 10 меньше - потянет.
А если увеличить количество серверов в 10 раз?.. Что я там выше говорил насчёт адекватного
железа...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.04.2013, 01:37
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38232207
lookat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
lookat
Гость
Inside22,

VoltDB
NuoDB
MemSQL
...
Рейтинг: 0 / 0
19.04.2013, 10:52
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38232223
trew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trew
Участник
Inside22,

Teradata – СУБД, параллельная от рождения
...
Рейтинг: 0 / 0
19.04.2013, 11:01
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38232284
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
авторЯ хотел спросить у вас, какие есть на рынке базы данных, которые способные оперировать тысячами и десятками тысячь запросов в секунду?
ох.... смотреть всегда надо на связку -
железо - софт - техподдержка - цена - коммьюнити по продукту ...
Терадатко то недешев. И в лицензиях, и в железе.

И авторизованных курсов не вагон, и литературы... Впрочем - поделие безумного гения тоже не за копейки продается....
...
Рейтинг: 0 / 0
19.04.2013, 11:29
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38248527
Arm79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arm79
Участник
ExtremeDB .

Небесплатно.
Идеально работает под C++. Но есть куча оберток под другие ЯП (разумеется, сверскорость теряется, но это некритично, там за глаза)
Есть поддержка Sql-92, решения высокой доступности и распараллеливания доступа, там много плюшек.
...
Рейтинг: 0 / 0
06.05.2013, 09:29
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38248646
Фотография vromanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vromanov
Участник
Arm79 ExtremeDB .
Небесплатно.

А каков порядок цен?
...
Рейтинг: 0 / 0
06.05.2013, 10:56
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38248698
Arm79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arm79
Участник
vromanov,

рассчитывается индивидуально по запросу, зависит от количества нужных фич.
но так где-то ядро + скульный модуль + решение HA составило где то 7000 долларов на сервер без ограничений на сам сервер.

дают демки всякие, незабесплатно готовы и программку сваять... имеются в наличии русскоговорящие разработчики, поддержка 24 часа в сутки, реакция оперативная.
...
Рейтинг: 0 / 0
06.05.2013, 11:27
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38545776
McObject
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
McObject
Гость
Inside22,

Здесь уже упомянутая extremedb, http://financial.mcobject.com
...
Рейтинг: 0 / 0
01.02.2014, 02:24
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38546636
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Inside22,

так запросы очень разные бывают...
...
Рейтинг: 0 / 0
02.02.2014, 23:01
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38549336
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vovaka
Участник
VoltDB, на сам пока не щупал, только планирую. Детище Стоунбрейкера, брат Вертики :)
...
Рейтинг: 0 / 0
04.02.2014, 20:06
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38549774
xz321
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xz321
Гость
SolidDB?
...
Рейтинг: 0 / 0
05.02.2014, 10:38
| Ответить | Цитировать | Написать  
Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
    #38604707
keefay_lo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
keefay_lo
Гость
vromanovInside22,

TimesTen. Вот внизу отчетик по 20 самым популярным запросам на сервере. Как видно средний CPS 33698. При этом машинка загружена на 40%. Она еще и реплицирет изменения на второй узел в кластере. Т.е. она может и больше, просто у меня нагрузка ограничена.

Машинка - десктоп
model name : Intel(R) Core(TM) i7 CPU K 875 @ 2.93GHz
stepping : 5
cpu MHz : 1200.000
cache size : 8192 KB

Код: plaintext
1.
2.
3.
                                        |     Total |      Total |       Total |       Total |      Total | Total |   Total |   Total |   Periodic |    Periodic |    Periodic |   Periodic |  Per. |
                         Statement name |     Count |        CPS |     AvgExec |    AvgFetch |       Full |     % | MaxExec |MaxFetch |        CPS |     AvgExec |    AvgFetch |       Full |     % |
----------------------------------------|-----------|------------|-------------|-------------|------------|-------|---------|---------|------------|-------------|-------------|------------|-------||


Времена даны в микросекундах?
...
Рейтинг: 0 / 0
03.04.2014, 18:41
| Ответить | Цитировать | Написать  
22 сообщений из 22, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Аналоги Kdb+ умеющие оперировать тысячами запросов в секунду
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=38248527&tid=1552384]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 129ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 62ms
get tp. blocked users:
 2ms
others: 14ms
total:  253ms
созд. / загр.: 253ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]