memsql кто-нибудь юзает ? / NoSQL, Big Data

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / memsql кто-нибудь юзает ?

10 сообщений из 10, страница 1 из 1

memsql кто-нибудь юзает ?

#39181141

memsql_test

Гость

Решил тут её чутка потестить, благо оно теперь есть в Community Edition и без лимитов

1 агрегатор + 4 лиф-ноды, развернуто на виртуалке с 60Gb RAM
Загружаю 100M строк из csv-файла (10GB размер) в таблицу LINEORDER из star schema benchmark

На момент старта LOAD'а свободно было 51GB.
После загрузки осталось ...2GB
ops webUI показывает, что Leaf Table Memory = 37GB (фига себе) и на диск сложила столько же

Ну и собственно стандартный вопрос : что делаю не так ?

...

Рейтинг:

0 / 0

29.02.2016, 10:44

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39181628

memsql_test

Гость

Оказалось, что в этом memsql окромя in-memory row-store есть еще disk column-store

Пересоздал таблицу LINEORDER, залил csv-шку (уже на 300M строк)
Вот такой фуллскан :

Код: sql

select lo_orderdate, count(*), sum(lo_extendedprice) from LINEORDER group by lo_orderdate order by lo_orderdate desc;

...

Рейтинг:

0 / 0

29.02.2016, 16:21

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39183140

haXbat

Участник

Сообщения: 398

Рейтинг: 0 / 0

memsql_test,

Сколько колонок в исходном csv файле?

...

Рейтинг:

0 / 0

01.03.2016, 23:57

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39183458

memsql_test

Гость

haXbatmemsql_test,

Сколько колонок в исходном csv файле?
17

...

Рейтинг:

0 / 0

02.03.2016, 11:31

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39184189

haXbat

Участник

Сообщения: 398

Рейтинг: 0 / 0

memsql_test,

Мне интересно, что получится, если количество колонок уменьшить до 5. По идее row-store должен зарулить.

...

Рейтинг:

0 / 0

02.03.2016, 18:45

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39185025

memsql_test

Гость

Ну в общем похоже (по собщениям на SO), что разбухание исходного датасета в памяти в 3-4 раза это не бага, а фича этого memsql %-) и это такая "оптимизация" под in-memory OLTP.
При этом Enterprise-редакция лицензируется по ...гигабайтам RAM ;-)
Под что-то более OLAP-ообразное нам такой "инмемори" не нужен.

На disk column-store все было красиво (на линейных фулсканах) пока не пошли запросы с джойнами.

Ставим "галочку" и едем дальше :)

...

Рейтинг:

0 / 0

03.03.2016, 15:08

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39185584

Ролг Хупин

Участник

Откуда: Чебаркуль

Сообщения: 4 817

Рейтинг: 0 / 0

memsql_testРешил тут её чутка потестить, благо оно теперь есть в Community Edition и без лимитов

а что у Community с лицензией?

...

Рейтинг:

0 / 0

04.03.2016, 09:09

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39186287

Чойто цифры не сходятся

Гость

memsql_testОказалось, что в этом memsql окромя in-memory row-store есть еще disk column-store

Пересоздал таблицу LINEORDER, залил csv-шку (уже на 300M строк)
Вот такой фуллскан :

Код: sql

select lo_orderdate, count(*), sum(lo_extendedprice) from LINEORDER group by lo_orderdate order by lo_orderdate desc;

первым проходом с диска выполняется за 27-28 сек.,
вторым проходом (видимо уже из кэша файловой системы) выполняется за ...3-4 сек ;-)

При этом на первом in-memory варианте (это когда 100M строк LINEORDER в памяти заняли 37GB) этот же запрос выполнялся за 6-7 сек.
В обоих случаях 100% утилизация CPU (16 VCPU в виртуалке)

Получается, что на одинаковом объеме кэшированный column-store будет в 4-5 раз быстрее in-memory row-store вараинта. Забавно...

Подымите мне веки.
300М записей, каждая запись по 100 байт (10 гиг = 100 М записей).
28 сек на прочитать все записи с диска.
Делим на 4 ноды. Получается по 75 миллинов записей за 28 сек на ноде.
Или нода читает 7.5 гиг за 28 сек или 267 мегабайт в секунду, на виртуалке Карл !
И это только чтение, нужно же еще обсчитать это всё.

...

Рейтинг:

0 / 0

05.03.2016, 01:10

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39186342

memsql-test

Гость

Ролг Хупина что у Community с лицензией?
как-то так

...

Рейтинг:

0 / 0

05.03.2016, 11:15

| Ответить | Цитировать | Написать

memsql кто-нибудь юзает ?

#39186352

memsql-test

Гость

Чойто цифры не сходятся
Подымите мне веки.
300М записей, каждая запись по 100 байт (10 гиг = 100 М записей).
28 сек на прочитать все записи с диска.
Делим на 4 ноды. Получается по 75 миллинов записей за 28 сек на ноде.
Или нода читает 7.5 гиг за 28 сек или 267 мегабайт в секунду, на виртуалке Карл !
И это только чтение, нужно же еще обсчитать это всё.

Дык колоночное хранение, для данного запроса читаются только страницы содержащие 2 колонки, а не все 17

Выставляем фс-кэш :

Код: sql

hntst:/ # echo 3 > /proc/sys/vm/drop_caches

Пускаем запрос :

Код: sql

memsql> select lo_orderdate, count(*), sum(lo_extendedprice) from LINEORDER group by lo_orderdate order by lo_orderdate desc;

:
Cмотрим iostat :

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.

hntst:/ # iostat -d /dev/sdq 1 100 -tm
Linux 3.0.76-0.11-default (hntst)       03/05/16        _x86_64_

03/05/16 11:20:15
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.30         0.02         0.00       6433        132

03/05/16 11:20:16
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:17
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:18
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq              88.00         0.37         0.00          0          0

03/05/16 11:20:19
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1212.00        64.34         0.00         64          0

03/05/16 11:20:20
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1168.00        66.72         0.32         66          0

03/05/16 11:20:21
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1754.00       113.84         0.00        113          0

03/05/16 11:20:22
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            2040.00       135.92         0.00        135          0

03/05/16 11:20:23
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            2808.00       188.64         0.00        188          0

03/05/16 11:20:24
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1982.00       130.52         0.00        130          0

03/05/16 11:20:25
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1760.00       120.92         0.00        120          0

03/05/16 11:20:26
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1477.00        97.54         0.00         97          0

03/05/16 11:20:27
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1474.00        97.13         0.00         97          0

03/05/16 11:20:28
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1023.00        67.00         0.00         67          0

03/05/16 11:20:29
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             858.00        54.40         0.00         54          0

03/05/16 11:20:30
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             823.00        54.82         0.00         54          0

03/05/16 11:20:31
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             780.00        54.48         0.00         54          0

03/05/16 11:20:32
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             790.00        55.72         0.00         55          0

03/05/16 11:20:33
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             563.00        40.43         0.00         40          0

03/05/16 11:20:34
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             371.00        26.34         0.00         26          0

03/05/16 11:20:35
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             271.00        19.67         0.00         19          0

03/05/16 11:20:36
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             279.00        21.34         0.00         21          0

03/05/16 11:20:37
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             284.00        20.54         0.00         20          0

03/05/16 11:20:38
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             142.00        10.55         0.01         10          0

03/05/16 11:20:39
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:40
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:41
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

Получаем результат :

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.

+--------------+----------+-----------------------+
| lo_orderdate | count(*) | sum(lo_extendedprice) |
+--------------+----------+-----------------------+
|     19980802 |   125064 |          477772873528 |
|     19980801 |   124528 |          476013685054 |
|     19980731 |   125277 |          479463049516 |
|     19980730 |   125046 |          478861614612 |
|     19980729 |   123836 |          473358371576 |

******* поскипано *************************

|     19920105 |   124544 |          475048735470 |
|     19920104 |   126012 |          481120870950 |
|     19920103 |   125068 |          479524692916 |
|     19920102 |   124544 |          476006718981 |
|     19920101 |   124158 |          474717067286 |
+--------------+----------+-----------------------+
2406 rows in set (19.60 sec)

memsql>

А что 267 mbps это какие-то недостижимые цифры для VMWare ESX ? Видел и в разы больше.

...

Рейтинг:

0 / 0

05.03.2016, 11:47

| Ответить | Цитировать | Написать

10 сообщений из 10, страница 1 из 1

Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / memsql кто-нибудь юзает ?

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=48&msg=39183458&tid=1856768]:	0ms
get settings:	10ms
get forum list:	14ms
check forum access:	4ms
check topic access:	4ms
track hit:	161ms
get topic data:	11ms
get forum data:	2ms
get page messages:	52ms
get tp. blocked users:	2ms
others:	16ms

total:	276ms