Гость
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / База для OLAP / 12 сообщений из 12, страница 1 из 1
26.01.2021, 09:04
    #40038862
listtoview
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
есть ли смысл смотреть в сторону столбцовых СУБД
Действительно есть преимущества?
спасибо
...
Рейтинг: 0 / 0
26.01.2021, 10:15
    #40038880
felix_ff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
listtoview,

если вы имеете ввиду концептуальный подход "в целом" - то да, сканирования больших диапазонов в колоночном типе хранения производится быстрее чем в строковом.

а если вы имеете ввиду какие либо альтернативы типа ( Vertica, Sybase IQ, Infobright ) vs MSSQL, ну это уже по большей части дело вкуса. В каждой субд есть какие то свои фишки начиная от модели лицензирования до поддержки протоколов обмена, типов данных, внятной документации, etc.
...
Рейтинг: 0 / 0
26.01.2021, 10:43
    #40038896
SERG1257
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
Оцените свой проект
https://columnscore.com/
...
Рейтинг: 0 / 0
26.01.2021, 12:46
    #40038957
.Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
SERG1257
Оцените свой проект
https://columnscore.com/

Количество строк (почти 4 млрд) ему нравится, а размер таблицы на диске (20Гб данных) - нет. Чудной опрос, лично мне такое сжатие по душе.
...
Рейтинг: 0 / 0
26.01.2021, 13:14
    #40038974
listtoview
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
felix_ff
listtoview,

если вы имеете ввиду концептуальный подход "в целом" - то да, сканирования больших диапазонов в колоночном типе хранения производится быстрее чем в строковом.

а если вы имеете ввиду какие либо альтернативы типа ( Vertica, Sybase IQ, Infobright ) vs MSSQL, ну это уже по большей части дело вкуса. В каждой субд есть какие то свои фишки начиная от модели лицензирования до поддержки протоколов обмена, типов данных, внятной документации, etc.

ну MS SQL же не колоночная СУБД
соответственно для всяких отчетов будет проигрывать в скорости?
...
Рейтинг: 0 / 0
26.01.2021, 15:00
    #40039019
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
listtoview
ну MS SQL же не колоночная СУБД
Как это?
...
Рейтинг: 0 / 0
26.01.2021, 16:10
    #40039045
listtoview
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
alexeyvg
listtoview
ну MS SQL же не колоночная СУБД
Как это?

строковая? не?
тут почитал https://clickhouse.tech/docs/ru/
авторТо есть, значения, относящиеся к одной строке, физически хранятся рядом.

Примеры строковых СУБД: MySQL, Postgres, MS SQL Server.

В столбцовых СУБД, данные хранятся в таком порядке:
...
Рейтинг: 0 / 0
26.01.2021, 16:44
    #40039057
SERG1257
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
на этом подфоруме надо смотреть тут
https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-ver15

У колумнстрора главные плюсы
1 Компрессия - получше чем у PAGE компрессии и без заметных накладных расходов на разжатие на чтении
2 batch мода (с SQL2019 эта опция доступна и для обычных rowstore таблиц)
3 rowstore elimination - жалкое подобие clustered index seek, в каждой из 1млн группе хранится min и max так что если по условиям запроса данных в этой группе нет то ее можно не читать
4 column elimination - если поле не требуется для запроса то и читать его не нужно. Полезно для широких таблиц, а любители select * - ССЗБ
5 Так же отлично подходят для ad hoc запросов, можно считать что на каждое поле для where будет аналог index scan

При этом.
1 Удаление из таблиц - остается в дельта сторе
2 Обновление - реализовано как вставка и удаление
3 "rowstore elimination" из коробки работает плохо, как только в таблице есть вставки, обновления данные суются в разные группы, простых способов физически упорядочить данные нет. Тупое перестроение индекса не работает. (рецепты однако есть)
4 секционирование (partitioning) просто необходимо (чтобы перестраивать не всю таблицу а только секцию)

лидер в исследованиях португалец Niko Neugebauer
http://www.nikoport.com/columnstore/
...
Рейтинг: 0 / 0
26.01.2021, 16:52
    #40039060
listtoview
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
SERG1257
на этом подфоруме надо смотреть тут
https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-ver15

У колумнстрора главные плюсы
1 Компрессия - получше чем у PAGE компрессии и без заметных накладных расходов на разжатие на чтении
2 batch мода (с SQL2019 эта опция доступна и для обычных rowstore таблиц)
3 rowstore elimination - жалкое подобие clustered index seek, в каждой из 1млн группе хранится min и max так что если по условиям запроса данных в этой группе нет то ее можно не читать
4 column elimination - если поле не требуется для запроса то и читать его не нужно. Полезно для широких таблиц, а любители select * - ССЗБ
5 Так же отлично подходят для ad hoc запросов, можно считать что на каждое поле для where будет аналог index scan

При этом.
1 Удаление из таблиц - остается в дельта сторе
2 Обновление - реализовано как вставка и удаление
3 "rowstore elimination" из коробки работает плохо, как только в таблице есть вставки, обновления данные суются в разные группы, простых способов физически упорядочить данные нет. Тупое перестроение индекса не работает. (рецепты однако есть)
4 секционирование (partitioning) просто необходимо (чтобы перестраивать не всю таблицу а только секцию)

лидер в исследованиях португалец Niko Neugebauer
http://www.nikoport.com/columnstore/


спасибо
я правда ничего не понял)
если не сложно расшифруйте плиз на пальцах
ушел читать
...
Рейтинг: 0 / 0
26.01.2021, 17:11
    #40039067
SERG1257
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
listtoviewя правда ничего не понял)Задавайте вопросы
...
Рейтинг: 0 / 0
26.01.2021, 17:45
    #40039078
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
listtoview
если не сложно расшифруйте плиз на пальцах
На пальцах:
1) MSSQL имеет (с некой версии) функциональность и колумнстор СУБД, то есть она "2 в 1"
2) инфу надо черпать из документации, в крайнем случае из блогов разработчиков и прочих гуру, а не из рекламы производителей (как МС, так и других)
...
Рейтинг: 0 / 0
28.01.2021, 11:10
    #40039584
SQL2008
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
База для OLAP
listtoview
есть ли смысл смотреть в сторону столбцовых СУБД
Действительно есть преимущества?
спасибо

Специально для вас создали новый тип OLAP - Tabular.
Можете выбрать при установке Multidimensional (обычный) или Tabular (columnstore)
...
Рейтинг: 0 / 0
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / База для OLAP / 12 сообщений из 12, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]