Значит, если транзакция маленькая и не достигла 16 мб, она не вызовет msync, несмотря на
то, что клиентская часть уже получила "ок" на commit?..


Пока да, в 4.0.4 будет полная поддержка msync()

Отлично, не торопись!

Значит, если транзакция маленькая и не достигла 16 мб, она не вызовет msync, несмотря на
то, что клиентская часть уже получила "ок" на commit?..


Ну вот добавил конфигурируемый msync(), теперь можно делать async/sync/nosync для индивидуального комита или использовать глобальное значение по умолчанию.

И при значении sync какая теперь скорость у вставки с коммитом после каждой записи?


Здесь бенчмарк. Запись состоит из одной 64—битной колонки:

https://github.com/questdb/questdb/blob/master/benchmarks/src/main/java/org/questdb/TableWriteBenchmark.java

Результат — среднее значение в микросекундах.

Я опять запустил это на лаптопе, все тесты один за другим. Под конец лаптоп начал перегреваться и nocommit тест опустился с 13нс до 19нс. Похожая картина и в nosync. Sync это на таком устройстве:

Забыл сказать, nocommit тест комитит в конце всего теста и не измеряет скорость комита. Все остальные тесты комитят каждую запись. Все вместе они создали более 10 миллиардов записей.

Как дела? Получается что-то похожее с oracle и его другом Lag’ом сделать?

Мужики, если не получается в оракл либо залить 300м записей, либо отсортировать либо джонить — не беда, давайте этот момент пропустим и продолжим общение. Я же базу пишу чтобы легче жизнь была а не тяжелее.

Мы будем скоро выкатывать поддержку залива данных их influx line protocol. Это популярная тема у Devops. QuestDB имеет UDP ресивер для этого. Тут недавно кто-то спрашивал как поймать 9000 пакетов на Делфи ... Мы тестировали influx и QuestDB, отправляем 50м записей по UDP unicast за 20—23с, influx ловит 2м, QuestDB — 21м это с nosync понятное дело ну и на лаптопе через loopback :)

Это интересно будет если мы ещё графану прикрутим к QuestDB?

Пока не уверен. Начинаем с UDP, потом легко и TCP сделать и даже за HTTP поставить — основная сложность в парзере.

UDP полезен в сборе метрик. Простая отправка и отправляющая система не замедляется базой. Время покажет надо или нет :)

графана это очень простая, с точки зрения настройки, визуализация. Легко начальству показать чем занимаешься :)

Это одна из жизненно необходимых фич для devops

Обычно для этого служит Эксель. ODBC драйвер чтобы к QuestDB можно было из него цепляться
вы выкатывать собираетесь?


Конечно! К QuestDB уже можно по постгрес протоколу цепляться. Через постгрес ODBC! Так же можно через HTTP и VBA, но потом нужно ответы на бэйсике парзить — это на любителя :)

Dimitry Sibiryakov,

Я предполагаю что influx и графана не сильно популярны на этом форуме? У графаны свои прелести — дашборд, графики живые, алертинг это немного другое. Excel конечно вещь хорошая и нужная но одно другого по моему не исключает.

Интересно чем вы мониторите нагрузку на базы, приложения, ОС?

Можете наши не по топику комментарии удалить?

Выпустили обновление:

https://github.com/questdb/questdb/releases/tag/4.0.4

Здесь обсуждаемая durability и также разнообразные ускорения, в частности REST точки.

Добрый день,

Ещё несколько новостей. Мы получили инвестиции и собрали команду из очень толковых инженеров. На следущей неделе начинаем развиваться одновременно в нескольких направлениях:

— открыто доступный демо—сервер с данными о такси Нью-Йорка. 1.6 миллиардная основная таблица и дополнительные данные, такие как погода для анализа совпадений событий. Мы переписываем агрегацию с использованием simd и параллелизацией. Подобные запросы будут выполняться менее чем за 1 секунду.

— двухфазовый комит и поддержка распределённых данных

— материализованные запросы


Есть так же идея добавления поддержки многопроходных формул в SQL, например:


Что вы об этом думаете?

PS: новый сайт https://www.questdb.io/ упростили навигацию по доке, так же добавляем деталей