ReSQL.ru
     
powered by simpleCommunicator - 2.0.41     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / QuestDB - новая СУБД для хранения time series данных
25 сообщений из 239, страница 2 из 10
  2  все
QuestDB - новая СУБД для хранения time series данных
    #39896106
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
PsyMisha,

Утверждает, что ему даже денег на это дадут.
...
Рейтинг: 0 / 0
29.11.2019, 09:56
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896109
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
bluestreak,

А кстати - как у вас с:
- Версионность. Одновременно работающие читатели и писатели, конфликты, блокировки
- Отказоустойчивость. Кластерные ноды, агенты чтения журнала транзакций, репликация на зеркала-подписчики

Вы либо это успешно слелели, причем на такой гениальном уровне, что действительно поборет существующих вендоров, работавших над продуктами десятилетиями, ввалившими бесчисленное множество миллиардов человеко-часов и денег в совершенствование продукта, либо живете в
Код: sql
1.
DATEADD(YEAR, -20, GETUTCDATE())

лет назад, когда еще не было кучи обязательных ныне фич.
...
Рейтинг: 0 / 0
29.11.2019, 10:00
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896145
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
Ладно мужики, похоже кроме того что попкорн жевать вам ничего не надо. До свиданья.
...
Рейтинг: 0 / 0
29.11.2019, 10:48
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896154
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
bluestreak,

Вы просто не понимаете основных принципов пиара. Да, тут будет срач и будут жрать попкорн, но главное, чтобы о вас говорили, причём не важно что, лишь бы побольше. А там глядишь бы и допилили свою субд до более-менее вменяемого состояния.
...
Рейтинг: 0 / 0
29.11.2019, 10:52
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896161
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
crutchmaster,

Ага, все верно, - пришел же Дидми к успеху через свой чернющщий пиар все же - родился же ДуДокс, какую-то сферу в итоге покрывает
...
Рейтинг: 0 / 0
29.11.2019, 11:00
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896167
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
bluestreak,

Возможно, - у вас очень узкоспециализированный продукт, который сильно нишевый и для очень определенного круга задач.
Вы продолжайте, пожалуйста, - действительно интересно

Просто понимаете, - суть в том, что местная общественность навидалась уже за долгие годы ТАКОЕ кол-во изобретателей с шокирующим продуктом, который вот-вот порвёт рынок - что ...
отсюда и скепсис по-дефолту
...
Рейтинг: 0 / 0
29.11.2019, 11:03
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896271
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
уровень обсуждения на реддите и тут, на форуме ВЕЛИКИХ РУССКИХ ИНЖЕНЕРОВ СКЛЬ,
https://www.reddit.com/r/programming/comments/e2gfpi/questdb_fast_time_series_database_zerogc_java/
разительно отличается

тут больше на фишки и пикабу похоже
...
Рейтинг: 0 / 0
29.11.2019, 12:20
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896348
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
Бумбараш,

На том форуме человек задает конкретные технические вопросы про низкие уровни в Джаве.

Здесь же - начинается все с фраз "по производительности уничтожим все базы. Раз в 10-100 быстрее будет в зависимости от запроса " - что еще можно ответить на такое? Только пёрлами, зубоскальством и прочими фишками.

Да, закономерный ответ - но ведь и здесь люди могли бы начать расспрашивать про многопоточность. Но ведь и автор так же тему в серьёзное не повел.
...
Рейтинг: 0 / 0
29.11.2019, 13:21
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896383
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
PsyMishaно ведь и здесь люди могли бы начать расспрашивать про многопоточность.

Могли. Но опыт FwMAS мешает.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
29.11.2019, 14:00
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896388
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
bluestreakПостгрес С, залив 500мб цсв - 47с
Questdb java, залив того же файла 4с GC = 0
ну офигеть. То есть, мы прикидываемся, что чего-то там залили (4с - это, собственно, 125мб/сек, т.е. тупое чтение файла в память, без парсинга), потом начинаем парсить это дело в фоне, сливать в memory mapped file, а дальше пусть ОС с этим всем разбирается.
Ну чё, нормуль.
...
Рейтинг: 0 / 0
29.11.2019, 14:06
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896396
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Бумбарашуровень обсуждения на реддите и тут, на форуме ... разительно отличается
ну, там люди, наверное, разговаривают как с умалишённым, боясь спровоцировать обострение.
А тут чего церемониться? Человек же врёт не краснея. 500мб csv он читает за 4.5 сек - это примерно 125мб/сек, то есть, за столько можно только прочитать 500мб с hdd в память. И уж никак не распарсить весь этот файл, сформировать в памяти структуры для транзакционного хранения и многопользовательско доступа, и т.д.
Ну допустим он читает это дело с ssd. Ок, на чтение 500мб файла в память - пусть 1 сек. И 3.5 сек на всё остальное? Нобелевскую, срочно!
...
Рейтинг: 0 / 0
29.11.2019, 14:12
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896505
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
bluestreak,

куда бы вы поместили свою базу в этом бенчмарке?

https://tech.marksblogg.com/benchmarks.html
...
Рейтинг: 0 / 0
29.11.2019, 16:10
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896715
Troglodit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Troglodit
Гость
Бенчмарки-это дело не благодарное.
PostgreSQL без упоминания железа, ОС, а главное конфига, разговор про сферического коня в вакууме.
Очень странно, что человек, который в одиночку написал убийцу современных СУБД не понимает этого.
Вы реально молодец, что в одиночку замахнулись на такое большое дело и даже если не будет результата, как
говорится огромный опыт идет бонусом.
...
Рейтинг: 0 / 0
30.11.2019, 18:34
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39896721
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
bluestreak
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
                COPY    Q1      Q2      Q3      Q4      Q5      Q6      Q7      Q8  
TimescaleDB	44.776	0.275	0.187	0.55	0.733	0.285	0.195	0.448	0.079	all queries except ingestion are executed in parallel on 6 cores. Date format is rigid
QuestDB    	4.2	0.005	0.182	0.22	0.41	0.27	0.22	0.327	0.07



Q1	select count(qty) from trades
Q2	select sum(qty) from trades
Q3	select instrument, sum(qty) from trades group by instrument
Q4	select instrument, side, sum(qty) from trades group by instrument, side
Q5	select sum(price), sum(qty) from trades where side='B' (makes no sense to sum(price) but we wanted to show how aggregate expressions scale)
Q6	select sum(price), sum(qty) from trades where side='B' and instrument='AC' (makes no sense to sum(price) but we wanted to show how aggregate expressions scale)
Q7	select instrument, sum(price), sum(qty), from trades where side='S' group by instrument
Q8	select sum(price), sum(qty) from trades in range (2019-10-17, 2019-10-29) where side='S' group by 1h

Интересуют более детально условия тестирования. Вы пишете что ваша Dbms тестировалась в 1 поток.
При таком подходе на БОЛЬШЕМ объеме конкуренты которые работают в несколько потоков или процессов
имеют преимущество в использовании многоканальной памяти при условии что данные лежат соотв. Образом.
Тоесть если вы сойдете с милисекунд на секунды и БОЛЬШИЕ выборки то ваша DBMS начнет отставать.

Здесь timescale/postgres выполняют каждый запрос в 6 потоков. Questdb в один поток.
...
Рейтинг: 0 / 0
30.11.2019, 20:04
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897808
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
PsyMisha,

Ну спасибо на добром слове. Может быть я не подробно рассказал о контексте «в 10—100 раз быстрее» но это не значит что цифры можно интерпретировать как угодно.

Повышение производительности в 10 или 100 раз вытекает из потенциально более эффективной интерпретации данных. Например в таблице имеются записи от 0 до 100 миллионов. Когда субд агрегирует данные по ключу Х и фильтру «Ф» часть данных по сути копируется в хэш таблицу. На это может уйти пару секунд. Допустим теперь в таблицу добавилось 1000 записей которые удовлетворяют фильтр «Ф». Практически все без исключения субд будут перечитывать 100м + 1000 записей. В QuestDB данные, за исключением удаления партиций, immutable. По этому QuestDB обработает только 1000 записей и добавит к предыдущему результату. То есть мы сравниваем пару секунд с одноциферными миллисекундами.
...
Рейтинг: 0 / 0
03.12.2019, 21:05
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897816
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
kdv
Бумбарашуровень обсуждения на реддите и тут, на форуме ... разительно отличается

ну, там люди, наверное, разговаривают как с умалишённым, боясь спровоцировать обострение.
А тут чего церемониться? Человек же врёт не краснея. 500мб csv он читает за 4.5 сек - это примерно 125мб/сек, то есть, за столько можно только прочитать 500мб с hdd в память. И уж никак не распарсить весь этот файл, сформировать в памяти структуры для транзакционного хранения и многопользовательско доступа, и т.д.
Ну допустим он читает это дело с ssd. Ок, на чтение 500мб файла в память - пусть 1 сек. И 3.5 сек на всё остальное? Нобелевскую, срочно!


Это полный бред. 4.1с это залив данных в реальном времени. Questdb сохраняет файл прямо в базу и при этом автоматически определяет количество полей, их типы, разделитель и отличат двоичный файл от текстового. Философия и высшая математика не уместна, скачай и сам проверь. Все открыто

Кстати KDB за тоже время зальёт файл — они наверно Нобелевскую обмыли уже
...
Рейтинг: 0 / 0
03.12.2019, 21:34
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897817
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
Troglodit
Бенчмарки-это дело не благодарное.
PostgreSQL без упоминания железа, ОС, а главное конфига, разговор про сферического коня в вакууме.
Очень странно, что человек, который в одиночку написал убийцу современных СУБД не понимает этого.
Вы реально молодец, что в одиночку замахнулись на такое большое дело и даже если не будет результата, как
говорится огромный опыт идет бонусом.


Описание железа на странице 1
...
Рейтинг: 0 / 0
03.12.2019, 21:36
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897818
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
Бумбараш
bluestreak,

куда бы вы поместили свою базу в этом бенчмарке?

https://tech.marksblogg.com/benchmarks.html


Мы на этих данных пока не тестировались. Скоро я думаю. По производительности мы похожи на KDB.
...
Рейтинг: 0 / 0
03.12.2019, 21:38
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897822
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
mayton,

Вы правы, многопоточная обработка данных гораздо предпочтительная если взять во внимание железо. Однопоточная обработка в QuestDB это оговорка для ясности, но она похоже запутала. Позвольте объяснить:

QuestDB сетевые сервисы являются многопоточными. Потоков фиксированое количество. Они работают с сокетами через epoll и позволяют работать в моногопользовательском режиме. Однако когда пользователь запускает запрос, этот запрос будет использовать одно ядро. Мы тестировали в такой среде по http

Данные сгенерили таким запросом

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
select timestamp_sequence(to_timestamp('2019.10.17T00:00:00.000000', 'yyyy.MM.ddTHH:mm:ss.SSSUUU'), 100000L) ts,
rnd_str(2,2,0) instrument,
abs(to_int(rnd_double(0)*100000)) price,
abs(to_int(rnd_double(0)*10000)) qty,
rnd_str('B', 'S') side
from long_sequence(10000000) x;

И потом скачали с сервера через web console, там есть кнопка «скачать»

Для influx исходные данные создавались таким запросом:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
select
concat(
    'trades,instrument=', rnd_str(2,2,0),
    ',side=', rnd_str('B', 'S'),
    ' price=', abs(to_int(rnd_double(0)*100000)),
    ',quantity=', abs(to_int(rnd_double(0)*10000)),
    ' ',
    1571270400000 + (x-1) * 100
)
from long_sequence(10000000) x;

Параметр к long-sequence это количество записей, можно большое количество если нужно. Серверу предел это диск. Если номер записей сильно большой, добавьте L, т.е 10000000000000000L
...
Рейтинг: 0 / 0
03.12.2019, 21:52
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897830
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
bluestreakОни работают с сокетами через epoll и позволяют работать в моногопользовательском режиме.

"Это ты круто задвинул!" (с)
"А унутре у нея неонка." (с)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
03.12.2019, 22:34
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897868
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
bluestreak,

Я так понимаю вы её в апач только сейчас выпустили.

Как думаете монетизироватЬ? Консалтингом вокруг апачевской базы?
...
Рейтинг: 0 / 0
04.12.2019, 00:28
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897873
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
bluestreak, а вы с Apache-Orc не работали?
...
Рейтинг: 0 / 0
04.12.2019, 00:33
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897876
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
bluestreak,

есть ли у базы какие-нибудь энтерпрайз или большие пользователи? Кто они?
Если их нет, как вы планируете продвигать базу?
Просто не знаю, как продвигается opensource продукт.

есть ли у неё какая-нибудь специализация, например, на трейдинге, как у kdb, или она general purpose?
...
Рейтинг: 0 / 0
04.12.2019, 00:43
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897877
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
Бумбараш,

Через open core бизнес модель. Мы пишем отдельный продукт, который использует QuestDB и предоставляет отказоустойчивость, масштабирование, интеграционные примочки, автоконфигурацию итд От консалтинга пытаемся держаться подальше, я хотел бы упростить эксплуатацию субд а не усложнять ради денег
...
Рейтинг: 0 / 0
04.12.2019, 00:49
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39897878
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
mayton
bluestreak, а вы с Apache-Orc не работали?


Нет, к сожалению.
...
Рейтинг: 0 / 0
04.12.2019, 00:51
| Ответить | Цитировать | Написать  
25 сообщений из 239, страница 2 из 10
  2  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / QuestDB - новая СУБД для хранения time series данных
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=39897877&tid=1552167]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 27ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 67ms
get tp. blocked users:
 1ms
others: 265ms
total:  403ms
созд. / загр.: 403ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]