|
База для OLAP
|
|||
---|---|---|---|
#18+
есть ли смысл смотреть в сторону столбцовых СУБД Действительно есть преимущества? спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 09:04 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
listtoview, если вы имеете ввиду концептуальный подход "в целом" - то да, сканирования больших диапазонов в колоночном типе хранения производится быстрее чем в строковом. а если вы имеете ввиду какие либо альтернативы типа ( Vertica, Sybase IQ, Infobright ) vs MSSQL, ну это уже по большей части дело вкуса. В каждой субд есть какие то свои фишки начиная от модели лицензирования до поддержки протоколов обмена, типов данных, внятной документации, etc. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 10:15 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
Оцените свой проект https://columnscore.com/ ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 10:43 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
SERG1257 Оцените свой проект https://columnscore.com/ Количество строк (почти 4 млрд) ему нравится, а размер таблицы на диске (20Гб данных) - нет. Чудной опрос, лично мне такое сжатие по душе. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 12:46 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
felix_ff listtoview, если вы имеете ввиду концептуальный подход "в целом" - то да, сканирования больших диапазонов в колоночном типе хранения производится быстрее чем в строковом. а если вы имеете ввиду какие либо альтернативы типа ( Vertica, Sybase IQ, Infobright ) vs MSSQL, ну это уже по большей части дело вкуса. В каждой субд есть какие то свои фишки начиная от модели лицензирования до поддержки протоколов обмена, типов данных, внятной документации, etc. ну MS SQL же не колоночная СУБД соответственно для всяких отчетов будет проигрывать в скорости? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 13:14 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
listtoview ну MS SQL же не колоночная СУБД ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 15:00 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
alexeyvg listtoview ну MS SQL же не колоночная СУБД строковая? не? тут почитал https://clickhouse.tech/docs/ru/ авторТо есть, значения, относящиеся к одной строке, физически хранятся рядом. Примеры строковых СУБД: MySQL, Postgres, MS SQL Server. В столбцовых СУБД, данные хранятся в таком порядке: ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 16:10 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
на этом подфоруме надо смотреть тут https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-ver15 У колумнстрора главные плюсы 1 Компрессия - получше чем у PAGE компрессии и без заметных накладных расходов на разжатие на чтении 2 batch мода (с SQL2019 эта опция доступна и для обычных rowstore таблиц) 3 rowstore elimination - жалкое подобие clustered index seek, в каждой из 1млн группе хранится min и max так что если по условиям запроса данных в этой группе нет то ее можно не читать 4 column elimination - если поле не требуется для запроса то и читать его не нужно. Полезно для широких таблиц, а любители select * - ССЗБ 5 Так же отлично подходят для ad hoc запросов, можно считать что на каждое поле для where будет аналог index scan При этом. 1 Удаление из таблиц - остается в дельта сторе 2 Обновление - реализовано как вставка и удаление 3 "rowstore elimination" из коробки работает плохо, как только в таблице есть вставки, обновления данные суются в разные группы, простых способов физически упорядочить данные нет. Тупое перестроение индекса не работает. (рецепты однако есть) 4 секционирование (partitioning) просто необходимо (чтобы перестраивать не всю таблицу а только секцию) лидер в исследованиях португалец Niko Neugebauer http://www.nikoport.com/columnstore/ ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 16:44 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
SERG1257 на этом подфоруме надо смотреть тут https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-ver15 У колумнстрора главные плюсы 1 Компрессия - получше чем у PAGE компрессии и без заметных накладных расходов на разжатие на чтении 2 batch мода (с SQL2019 эта опция доступна и для обычных rowstore таблиц) 3 rowstore elimination - жалкое подобие clustered index seek, в каждой из 1млн группе хранится min и max так что если по условиям запроса данных в этой группе нет то ее можно не читать 4 column elimination - если поле не требуется для запроса то и читать его не нужно. Полезно для широких таблиц, а любители select * - ССЗБ 5 Так же отлично подходят для ad hoc запросов, можно считать что на каждое поле для where будет аналог index scan При этом. 1 Удаление из таблиц - остается в дельта сторе 2 Обновление - реализовано как вставка и удаление 3 "rowstore elimination" из коробки работает плохо, как только в таблице есть вставки, обновления данные суются в разные группы, простых способов физически упорядочить данные нет. Тупое перестроение индекса не работает. (рецепты однако есть) 4 секционирование (partitioning) просто необходимо (чтобы перестраивать не всю таблицу а только секцию) лидер в исследованиях португалец Niko Neugebauer http://www.nikoport.com/columnstore/ спасибо я правда ничего не понял) если не сложно расшифруйте плиз на пальцах ушел читать ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 16:52 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
listtoviewя правда ничего не понял)Задавайте вопросы ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 17:11 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
listtoview если не сложно расшифруйте плиз на пальцах 1) MSSQL имеет (с некой версии) функциональность и колумнстор СУБД, то есть она "2 в 1" 2) инфу надо черпать из документации, в крайнем случае из блогов разработчиков и прочих гуру, а не из рекламы производителей (как МС, так и других) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.01.2021, 17:45 |
|
База для OLAP
|
|||
---|---|---|---|
#18+
listtoview есть ли смысл смотреть в сторону столбцовых СУБД Действительно есть преимущества? спасибо Специально для вас создали новый тип OLAP - Tabular. Можете выбрать при установке Multidimensional (обычный) или Tabular (columnstore) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.01.2021, 11:10 |
|
|
start [/forum/topic.php?fid=46&tid=1685157]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
161ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
41ms |
get tp. blocked users: |
1ms |
others: | 303ms |
total: | 550ms |
0 / 0 |