powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / База для OLAP
12 сообщений из 12, страница 1 из 1
База для OLAP
    #40038862
listtoview
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
есть ли смысл смотреть в сторону столбцовых СУБД
Действительно есть преимущества?
спасибо
...
Рейтинг: 0 / 0
База для OLAP
    #40038880
felix_ff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
listtoview,

если вы имеете ввиду концептуальный подход "в целом" - то да, сканирования больших диапазонов в колоночном типе хранения производится быстрее чем в строковом.

а если вы имеете ввиду какие либо альтернативы типа ( Vertica, Sybase IQ, Infobright ) vs MSSQL, ну это уже по большей части дело вкуса. В каждой субд есть какие то свои фишки начиная от модели лицензирования до поддержки протоколов обмена, типов данных, внятной документации, etc.
...
Рейтинг: 0 / 0
База для OLAP
    #40038896
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оцените свой проект
https://columnscore.com/
...
Рейтинг: 0 / 0
База для OLAP
    #40038957
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SERG1257
Оцените свой проект
https://columnscore.com/

Количество строк (почти 4 млрд) ему нравится, а размер таблицы на диске (20Гб данных) - нет. Чудной опрос, лично мне такое сжатие по душе.
...
Рейтинг: 0 / 0
База для OLAP
    #40038974
listtoview
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
felix_ff
listtoview,

если вы имеете ввиду концептуальный подход "в целом" - то да, сканирования больших диапазонов в колоночном типе хранения производится быстрее чем в строковом.

а если вы имеете ввиду какие либо альтернативы типа ( Vertica, Sybase IQ, Infobright ) vs MSSQL, ну это уже по большей части дело вкуса. В каждой субд есть какие то свои фишки начиная от модели лицензирования до поддержки протоколов обмена, типов данных, внятной документации, etc.

ну MS SQL же не колоночная СУБД
соответственно для всяких отчетов будет проигрывать в скорости?
...
Рейтинг: 0 / 0
База для OLAP
    #40039019
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
listtoview
ну MS SQL же не колоночная СУБД
Как это?
...
Рейтинг: 0 / 0
База для OLAP
    #40039045
listtoview
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvg
listtoview
ну MS SQL же не колоночная СУБД
Как это?

строковая? не?
тут почитал https://clickhouse.tech/docs/ru/
авторТо есть, значения, относящиеся к одной строке, физически хранятся рядом.

Примеры строковых СУБД: MySQL, Postgres, MS SQL Server.

В столбцовых СУБД, данные хранятся в таком порядке:
...
Рейтинг: 0 / 0
База для OLAP
    #40039057
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
на этом подфоруме надо смотреть тут
https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-ver15

У колумнстрора главные плюсы
1 Компрессия - получше чем у PAGE компрессии и без заметных накладных расходов на разжатие на чтении
2 batch мода (с SQL2019 эта опция доступна и для обычных rowstore таблиц)
3 rowstore elimination - жалкое подобие clustered index seek, в каждой из 1млн группе хранится min и max так что если по условиям запроса данных в этой группе нет то ее можно не читать
4 column elimination - если поле не требуется для запроса то и читать его не нужно. Полезно для широких таблиц, а любители select * - ССЗБ
5 Так же отлично подходят для ad hoc запросов, можно считать что на каждое поле для where будет аналог index scan

При этом.
1 Удаление из таблиц - остается в дельта сторе
2 Обновление - реализовано как вставка и удаление
3 "rowstore elimination" из коробки работает плохо, как только в таблице есть вставки, обновления данные суются в разные группы, простых способов физически упорядочить данные нет. Тупое перестроение индекса не работает. (рецепты однако есть)
4 секционирование (partitioning) просто необходимо (чтобы перестраивать не всю таблицу а только секцию)

лидер в исследованиях португалец Niko Neugebauer
http://www.nikoport.com/columnstore/
...
Рейтинг: 0 / 0
База для OLAP
    #40039060
listtoview
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SERG1257
на этом подфоруме надо смотреть тут
https://docs.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-overview?view=sql-server-ver15

У колумнстрора главные плюсы
1 Компрессия - получше чем у PAGE компрессии и без заметных накладных расходов на разжатие на чтении
2 batch мода (с SQL2019 эта опция доступна и для обычных rowstore таблиц)
3 rowstore elimination - жалкое подобие clustered index seek, в каждой из 1млн группе хранится min и max так что если по условиям запроса данных в этой группе нет то ее можно не читать
4 column elimination - если поле не требуется для запроса то и читать его не нужно. Полезно для широких таблиц, а любители select * - ССЗБ
5 Так же отлично подходят для ad hoc запросов, можно считать что на каждое поле для where будет аналог index scan

При этом.
1 Удаление из таблиц - остается в дельта сторе
2 Обновление - реализовано как вставка и удаление
3 "rowstore elimination" из коробки работает плохо, как только в таблице есть вставки, обновления данные суются в разные группы, простых способов физически упорядочить данные нет. Тупое перестроение индекса не работает. (рецепты однако есть)
4 секционирование (partitioning) просто необходимо (чтобы перестраивать не всю таблицу а только секцию)

лидер в исследованиях португалец Niko Neugebauer
http://www.nikoport.com/columnstore/


спасибо
я правда ничего не понял)
если не сложно расшифруйте плиз на пальцах
ушел читать
...
Рейтинг: 0 / 0
База для OLAP
    #40039067
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
listtoviewя правда ничего не понял)Задавайте вопросы
...
Рейтинг: 0 / 0
База для OLAP
    #40039078
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
listtoview
если не сложно расшифруйте плиз на пальцах
На пальцах:
1) MSSQL имеет (с некой версии) функциональность и колумнстор СУБД, то есть она "2 в 1"
2) инфу надо черпать из документации, в крайнем случае из блогов разработчиков и прочих гуру, а не из рекламы производителей (как МС, так и других)
...
Рейтинг: 0 / 0
База для OLAP
    #40039584
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
listtoview
есть ли смысл смотреть в сторону столбцовых СУБД
Действительно есть преимущества?
спасибо

Специально для вас создали новый тип OLAP - Tabular.
Можете выбрать при установке Multidimensional (обычный) или Tabular (columnstore)
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / База для OLAP
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]