ReSQL.ru
     
powered by simpleCommunicator - 2.0.41     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / QuestDB - новая СУБД для хранения time series данных
14 сообщений из 239, страница 10 из 10
  10  все
QuestDB - новая СУБД для хранения time series данных
    #39945029
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kealon(Ruslan)
Участник
Бумбараш
ты такой крутой парень

кек
скажем так, я не настолько крут что бы заниматься благотворительностью
т.е. мне есть на что потратить и деньги и время
...
Рейтинг: 0 / 0
08.04.2020, 20:20
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39945073
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Руслан это ты так хитро дисперсию посчитал?
...
Рейтинг: 0 / 0
08.04.2020, 21:22
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39945127
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kealon(Ruslan)
Участник
mayton,

она самая
идея не моя, известная формула из методичек
...
Рейтинг: 0 / 0
08.04.2020, 23:56
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39945132
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Красиво.

Код: sql
1.
avg(x^2) - avg(x)^2



Это по сути ответ на вопрос как в map-reduce считать всякие центральные моменты.

Надо-б себе записать чтоб не забыть.
...
Рейтинг: 0 / 0
09.04.2020, 00:13
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39945173
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kealon(Ruslan)
Участник
mayton,

зачем её запоминать, она ж элементарно выводится для многих агрегатов, главное принцип запомнить

вот это 22110498 только напрягает очень сильно, полученная формула менее устойчива к накоплению ошибок на fpu, чем исходная
...
Рейтинг: 0 / 0
09.04.2020, 09:36
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39945191
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
А если резать выборку на под-выборки? И применять кусочно?
...
Рейтинг: 0 / 0
09.04.2020, 10:49
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39953126
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
Время поделиться новой информацией:

Добавил две дополнительные функции: ksum() — kahan и nsum() — neumaier. Последняя более точная сумма. Все три суммы, sum(), ksum() и nsum() выполняются с примерно одинаковой скоростью: 409мс, 411мс и 414мс на 1.6 миллиардов 64бит double значениях.(dell xps15 7590 ноут)

Это все на master пока, можно попробовать если есть желание. https://github.com/questdb/questdb

Проблема остаётся все той же: пропускная способность памяти.
...
Рейтинг: 0 / 0
30.04.2020, 00:16
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39953271
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
bluestreak
Проблема остаётся все той же: пропускная способность памяти.
...
Рейтинг: 0 / 0
30.04.2020, 13:45
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39953453
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
mayton
bluestreak
Проблема остаётся все той же: пропускная способность памяти.



Это не аксиома конечно. Я думаю по этому Руслан был настроен крайне скептически.

Мы прогнали clickhouse на миллиарде. У них тоже есть Кахан. Там наивная сумма 275мс, кахан — 850мс. То есть не в память упёрся. У нас 245мс наивно и 250мс - кахан.


Постгрес — 2 минуты 🧐
...
Рейтинг: 0 / 0
30.04.2020, 23:57
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39954100
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ну вы даёте блин. Это ж системы разного класса. Postgres - классическая дисковая.
С полным набором фич ACID. И даже если вы ее поставите поверх SSD - она по прежнему
будет применять весь стек технологий для работы с tuples, 8k-pages e.t.c. И data-rows
будет писать с атрибутами версионности и хрен выключишь эту механику.

Нельзя так сравнивать. А-то побегут выбрасывать свой PG и заменять его на ваш "ФВМяс".
...
Рейтинг: 0 / 0
04.05.2020, 16:09
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39973641
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
Добрый вечер, мы вот запустили сервер, на котором можно попробовать QuestDB. Там таблица на 1.6 миллиард записей и примеры запросов. Вы так же можете написать произвольные запросы. Не все конечно оптимально, но попробуйте и поделитесь предложениями


http://try.questdb.io:9000
...
Рейтинг: 0 / 0
26.06.2020, 18:00
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39975561
bluestreak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bluestreak
Гость
https://techcrunch.com/2020/07/02/questdb-nabs-2-3m-seed-to-build-open-source-time-series-database/
...
Рейтинг: 0 / 0
02.07.2020, 17:26
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #39975606
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
bluestreak,

круто
...
Рейтинг: 0 / 0
02.07.2020, 18:58
| Ответить | Цитировать | Написать  
QuestDB - новая СУБД для хранения time series данных
    #40033590
Фотография ptr128
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ptr128
Участник
bluestreak

Инкрементальные запросы вытекают из предположения что данные на изменяются. За исходный результат берётся не 0 а результат предидущего запроса.

Например ‘select location, avg(temp) where timestamp = ‘2019-12’

А если нужна статистика? Например, тот же PostgreSQL PERCENTILE_CONT()?
...
Рейтинг: 0 / 0
05.01.2021, 13:14
| Ответить | Цитировать | Написать  
14 сообщений из 239, страница 10 из 10
  10  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / QuestDB - новая СУБД для хранения time series данных
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=39945029&tid=1552167]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 25ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 265ms
total:  378ms
созд. / загр.: 378ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]