Гость
Войти | Профиль | Очистить
Действия ...
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / memsql кто-нибудь юзает ? / 10 сообщений из 10, страница 1 из 1
29.02.2016, 10:44
    #39181141
memsql_test
memsql_test
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
Решил тут её чутка потестить, благо оно теперь есть в Community Edition и без лимитов

1 агрегатор + 4 лиф-ноды, развернуто на виртуалке с 60Gb RAM
Загружаю 100M строк из csv-файла (10GB размер) в таблицу LINEORDER из star schema benchmark

На момент старта LOAD'а свободно было 51GB.
После загрузки осталось ...2GB
ops webUI показывает, что Leaf Table Memory = 37GB (фига себе) и на диск сложила столько же

Ну и собственно стандартный вопрос : что делаю не так ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.02.2016, 16:21
    #39181628
memsql_test
memsql_test
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
Оказалось, что в этом memsql окромя in-memory row-store есть еще disk column-store

Пересоздал таблицу LINEORDER, залил csv-шку (уже на 300M строк)
Вот такой фуллскан :
Код: sql
1.
select lo_orderdate, count(*), sum(lo_extendedprice) from LINEORDER group by lo_orderdate order by lo_orderdate desc;


первым проходом с диска выполняется за 27-28 сек.,
вторым проходом (видимо уже из кэша файловой системы) выполняется за ...3-4 сек ;-)

При этом на первом in-memory варианте (это когда 100M строк LINEORDER в памяти заняли 37GB) этот же запрос выполнялся за 6-7 сек.
В обоих случаях 100% утилизация CPU (16 VCPU в виртуалке)

Получается, что на одинаковом объеме кэшированный column-store будет в 4-5 раз быстрее in-memory row-store вараинта. Забавно...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.03.2016, 23:57
    #39183140
haXbat
haXbat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
memsql_test,

Сколько колонок в исходном csv файле?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.03.2016, 11:31
    #39183458
memsql_test
memsql_test
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
haXbatmemsql_test,

Сколько колонок в исходном csv файле?
17
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
02.03.2016, 18:45
    #39184189
haXbat
haXbat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
memsql_test,

Мне интересно, что получится, если количество колонок уменьшить до 5. По идее row-store должен зарулить.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.03.2016, 15:08
    #39185025
memsql_test
memsql_test
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
Ну в общем похоже (по собщениям на SO), что разбухание исходного датасета в памяти в 3-4 раза это не бага, а фича этого memsql %-) и это такая "оптимизация" под in-memory OLTP.
При этом Enterprise-редакция лицензируется по ...гигабайтам RAM ;-)
Под что-то более OLAP-ообразное нам такой "инмемори" не нужен.

На disk column-store все было красиво (на линейных фулсканах) пока не пошли запросы с джойнами.

Ставим "галочку" и едем дальше :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.03.2016, 09:09
    #39185584
Ролг Хупин
Ролг Хупин
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
memsql_testРешил тут её чутка потестить, благо оно теперь есть в Community Edition и без лимитов


а что у Community с лицензией?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.03.2016, 01:10
    #39186287
Чойто цифры не сходятся
Чойто цифры не сходятся
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
memsql_testОказалось, что в этом memsql окромя in-memory row-store есть еще disk column-store

Пересоздал таблицу LINEORDER, залил csv-шку (уже на 300M строк)
Вот такой фуллскан :
Код: sql
1.
select lo_orderdate, count(*), sum(lo_extendedprice) from LINEORDER group by lo_orderdate order by lo_orderdate desc;


первым проходом с диска выполняется за 27-28 сек.,
вторым проходом (видимо уже из кэша файловой системы) выполняется за ...3-4 сек ;-)

При этом на первом in-memory варианте (это когда 100M строк LINEORDER в памяти заняли 37GB) этот же запрос выполнялся за 6-7 сек.
В обоих случаях 100% утилизация CPU (16 VCPU в виртуалке)

Получается, что на одинаковом объеме кэшированный column-store будет в 4-5 раз быстрее in-memory row-store вараинта. Забавно...

Подымите мне веки.
300М записей, каждая запись по 100 байт (10 гиг = 100 М записей).
28 сек на прочитать все записи с диска.
Делим на 4 ноды. Получается по 75 миллинов записей за 28 сек на ноде.
Или нода читает 7.5 гиг за 28 сек или 267 мегабайт в секунду, на виртуалке Карл !
И это только чтение, нужно же еще обсчитать это всё.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.03.2016, 11:15
    #39186342
memsql-test
memsql-test
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
Ролг Хупина что у Community с лицензией?
как-то так
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.03.2016, 11:47
    #39186352
memsql-test
memsql-test
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
memsql кто-нибудь юзает ?
Чойто цифры не сходятся
Подымите мне веки.
300М записей, каждая запись по 100 байт (10 гиг = 100 М записей).
28 сек на прочитать все записи с диска.
Делим на 4 ноды. Получается по 75 миллинов записей за 28 сек на ноде.
Или нода читает 7.5 гиг за 28 сек или 267 мегабайт в секунду, на виртуалке Карл !
И это только чтение, нужно же еще обсчитать это всё.

Дык колоночное хранение, для данного запроса читаются только страницы содержащие 2 колонки, а не все 17

Выставляем фс-кэш :
Код: sql
1.
hntst:/ # echo 3 > /proc/sys/vm/drop_caches


Пускаем запрос :
Код: sql
1.
memsql> select lo_orderdate, count(*), sum(lo_extendedprice) from LINEORDER group by lo_orderdate order by lo_orderdate desc;

:
Cмотрим iostat :
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
hntst:/ # iostat -d /dev/sdq 1 100 -tm
Linux 3.0.76-0.11-default (hntst)       03/05/16        _x86_64_

03/05/16 11:20:15
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.30         0.02         0.00       6433        132

03/05/16 11:20:16
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:17
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:18
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq              88.00         0.37         0.00          0          0

03/05/16 11:20:19
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1212.00        64.34         0.00         64          0

03/05/16 11:20:20
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1168.00        66.72         0.32         66          0

03/05/16 11:20:21
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1754.00       113.84         0.00        113          0

03/05/16 11:20:22
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            2040.00       135.92         0.00        135          0

03/05/16 11:20:23
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            2808.00       188.64         0.00        188          0

03/05/16 11:20:24
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1982.00       130.52         0.00        130          0

03/05/16 11:20:25
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1760.00       120.92         0.00        120          0

03/05/16 11:20:26
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1477.00        97.54         0.00         97          0

03/05/16 11:20:27
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1474.00        97.13         0.00         97          0

03/05/16 11:20:28
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq            1023.00        67.00         0.00         67          0

03/05/16 11:20:29
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             858.00        54.40         0.00         54          0

03/05/16 11:20:30
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             823.00        54.82         0.00         54          0

03/05/16 11:20:31
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             780.00        54.48         0.00         54          0

03/05/16 11:20:32
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             790.00        55.72         0.00         55          0

03/05/16 11:20:33
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             563.00        40.43         0.00         40          0

03/05/16 11:20:34
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             371.00        26.34         0.00         26          0

03/05/16 11:20:35
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             271.00        19.67         0.00         19          0

03/05/16 11:20:36
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             279.00        21.34         0.00         21          0

03/05/16 11:20:37
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             284.00        20.54         0.00         20          0

03/05/16 11:20:38
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq             142.00        10.55         0.01         10          0

03/05/16 11:20:39
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:40
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0

03/05/16 11:20:41
Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sdq               0.00         0.00         0.00          0          0


Получаем результат :
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
+--------------+----------+-----------------------+
| lo_orderdate | count(*) | sum(lo_extendedprice) |
+--------------+----------+-----------------------+
|     19980802 |   125064 |          477772873528 |
|     19980801 |   124528 |          476013685054 |
|     19980731 |   125277 |          479463049516 |
|     19980730 |   125046 |          478861614612 |
|     19980729 |   123836 |          473358371576 |

******* поскипано *************************

|     19920105 |   124544 |          475048735470 |
|     19920104 |   126012 |          481120870950 |
|     19920103 |   125068 |          479524692916 |
|     19920102 |   124544 |          476006718981 |
|     19920101 |   124158 |          474717067286 |
+--------------+----------+-----------------------+
2406 rows in set (19.60 sec)

memsql>




А что 267 mbps это какие-то недостижимые цифры для VMWare ESX ? Видел и в разы больше.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / memsql кто-нибудь юзает ? / 10 сообщений из 10, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 1258ms
Закрыть
start [/forum/search_topic.php?author=%26&author_mode=last_topics&do_search=1]:
 0ms
get settings:
 11ms
get forum list:
 14ms
get settings:
 12ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 276ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 50ms
get tp. blocked users:
 2ms
others: 860ms
total:  1258ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]