ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
25 сообщений из 56, страница 2 из 3
  2  все
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889567
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,
Ссылки в http://en.wikipedia.org/wiki/Column-oriented_DBMS вполне подойдут для начала.
...
Рейтинг: 0 / 0
23.07.2012, 17:49
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889578
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_rumayton,
Ссылки в http://en.wikipedia.org/wiki/Column-oriented_DBMS вполне подойдут для начала.
Я брал за основу картинку с хабра.



На ней явно видно что есть колонки столбцы и связи между ними горизонтальные.

Из вашей ссылки если смотреть так

wiki 1,2,3;
Smith,Jones,Johnson;
Joe,Mary,Cathy;
40000,50000,44000;

То выходит что связи вертикальные. Терминология яйца выеденного не стоит.
Я могу и назвать эти указатели косыми, верхними правыми - пох. Это просто
система отсчёта. Главное что они - МАТЕРИАЛЬНЫ. И имеют дисковый оверхед.
...
Рейтинг: 0 / 0
23.07.2012, 17:56
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889591
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Ни там ни там указатели не хранятся _вообще_. Я не знаю, где вы их увидели на этих картинках.

Страничная структура индексного дерева хранится, понятное дело, но размер номера страницы по сравнению с размером страницы мы гордым словом "оверхед" называть не будем.
...
Рейтинг: 0 / 0
23.07.2012, 18:03
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889596
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_rumayton,

Ни там ни там указатели не хранятся _вообще_. Я не знаю, где вы их увидели на этих картинках.

Страничная структура индексного дерева хранится, понятное дело, но размер номера страницы по сравнению с размером страницы мы гордым словом "оверхед" называть не будем.
ОК. Давайте рассуждать. Каким образом организованы связи между атомами первого столбца
(GM,GM,GM,AAPL...) и одинадцатого (30.77, 30.77, 30.79....) ?
...
Рейтинг: 0 / 0
23.07.2012, 18:09
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889660
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Да никак. Вот ищете вы значение из одиннадцатого столбца, соответствующее значению AAPL в первом столбце. Смотрете на первый столбец, ищете в нём AAPL. Нашли, на четвёртом месте. Значит не глядя берёте четвёртое значение из одиннадцатого столбца и возвращаете. Всё. Какие ещё нужны связи?
...
Рейтинг: 0 / 0
23.07.2012, 19:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889663
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_rumayton,

Да никак. Вот ищете вы значение из одиннадцатого столбца, соответствующее значению AAPL в первом столбце. Смотрете на первый столбец, ищете в нём AAPL. Нашли, на четвёртом месте. Значит не глядя берёте четвёртое значение из одиннадцатого столбца и возвращаете. Всё. Какие ещё нужны связи?
Насколько я понимаю, для оптимального доступа столбцы организуются как структура данных
оптимизированная по поиску элемента и по поиску в диапазоне (это нужно для аналитики).
Скорее всего это вариации на тему B+Tree. Верно?
...
Рейтинг: 0 / 0
23.07.2012, 19:07
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889667
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytoniv_an_rumayton,

Да никак. Вот ищете вы значение из одиннадцатого столбца, соответствующее значению AAPL в первом столбце. Смотрете на первый столбец, ищете в нём AAPL. Нашли, на четвёртом месте. Значит не глядя берёте четвёртое значение из одиннадцатого столбца и возвращаете. Всё. Какие ещё нужны связи?
Насколько я понимаю, для оптимального доступа столбцы организуются как структура данных
оптимизированная по поиску элемента и по поиску в диапазоне (это нужно для аналитики).
Скорее всего это вариации на тему B+Tree. Верно?На уровне целых страниц --- да, деревья, почти одинаковые что для строк что для колонок.
...
Рейтинг: 0 / 0
23.07.2012, 19:12
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889670
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мой друг. Деревья не поддерживают операцию "взять четвёртое значение из одиннадцатого столбца". Это нонсенс.
Там нет никакого четвёртого значения.
...
Рейтинг: 0 / 0
23.07.2012, 19:14
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889678
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Ещё раз. В дерево организуются целые страницы. Большие листики у этого дерева, понимаете? 8-16 Кb сжатых данных. А вот в пределах листика номер строки/столбца/строки+столбца очень даже может быть использован для доступа.
...
Рейтинг: 0 / 0
23.07.2012, 19:26
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889714
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Это не даёт ответа на мой вопрос

Каким образом организованы связи между атомами первого столбца и одинадцатого?
...
Рейтинг: 0 / 0
23.07.2012, 20:26
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889716
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Да никак не организованы. В каждой колонке, относящейся к одному и тому же листу дерева страниц, первое значение относится к первой записи, второе --- ко второй и всё. Не знаю, как ещё объяснить. Как у вас организованы связи между соседними клеточками на листе в клеточку?
...
Рейтинг: 0 / 0
23.07.2012, 20:31
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889719
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
По вашему, в каждом листике дерева (столбце) хранятся все копии
всех соседних атомов?
...
Рейтинг: 0 / 0
23.07.2012, 20:36
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889725
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

А в столбике клеточек на листике хранятся копии клеточек всех соседних столбиков?
...
Рейтинг: 0 / 0
23.07.2012, 20:45
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889738
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Давай так. Я структуру хранилища C-DBMS не знаю. Я рассуждаю
на основании тех сведений которые прочёл. И на основании здравого
смысла делаю предположения о том как хранилище устроено. То
что ты мне рассказываешь противоречит моему представлению
о том как должна работать C-DBMS. Поэтому у меня соотв.
возникает реакция неприятия. Пример с клеточным листом
- неудачный. У нас нет клеточек и нет массивов. Иначе
мы получили-бы линейный O(n) на insert/delete.
Так не проектируются никакие DBMS. Ни реляционные
не колоночные.
...
Рейтинг: 0 / 0
23.07.2012, 21:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889749
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytonДавай так. Я структуру хранилища C-DBMS не знаю. Я рассуждаю на основании тех сведений которые прочёл. И на основании здравого смысла делаю предположения о том как хранилище устроено.Предлагаю вместо предположений просто прочитать больше. Мне не жалоко 15 минут на объяснение маленькой разницы между строковыми и колоночными реляционными СУБД, но банально нет времени на рассказ о реляционных СУБД с самого начала.
...
Рейтинг: 0 / 0
23.07.2012, 21:27
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889778
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_ru, ты меня ставишь в неравные условия. Согласись. По
той ссылке что ты привёл - нет описания метода хранения
кортежей и атомов.
...
Рейтинг: 0 / 0
23.07.2012, 22:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889785
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Я привёл ссылку на список ссылок. См. конец статьи.
...
Рейтинг: 0 / 0
23.07.2012, 22:15
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37890418
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 07/23/2012 04:37 PM, mayton wrote:

> В колоночных RDBMS (С-DBMS) мы обязаны для каждого атома ссылку на следующий атом
> или в двунаправленных в обе стороны.

Нет, не обязаны. Достаточно ссылки из строки на значение в колонке.
Ты просто не думаешь о том, как ещё можно это сделать. А можно по-разному.

Это накладные. Они могут быть коротким
> указателем (32 бит в памяти или 64 бит) или ROWID/*ID идентификатором записи/
> строки/блока/файла для файлово-ориентированной колоночной системы.

Даже если так,
1) неразумно хранить эти ссылки в значении -- значение одно, а используется оно
во многих строках.
2) 32 бит в памяти или 64 бит -- немного.

> У меня пока нет цифр. Это только инженерная интуиция но я думаю что это так.
>
> Поэтому я считал что колоночные (like Qliki) системы эффективны для
> расколбаса поисков и вставок in-memory. И еще эффективнее когда
> мы заведомо работает с 2-3 столбцами а другие не трогаем.

Считал неверно. Они эффективны, когда есть повторение данных в разных
строках колонки. И даже если нет повторений, они всё равно эффективны.
За счёт сжатия данных. А не эффективны -- в жёстком OLTP.

> будет жать колонку а где нет. И трудно посчитать оверхед по ЦПУ

Там выигрыш в чтениях с диска, потому что МЕНЬШЕ надо читать.
Это -- мили/микро секунды. А CPU - нано. Для того, чтобы загробить
преимущество, нужно ОЧЕНЬ большой оверхед на CPU. В тыщи раз.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
24.07.2012, 13:15
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37890429
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 07/23/2012 11:04 PM, mayton wrote:


Тупо-глупо.

B+tree. Данные в нём несжаты, обычные (кроме всех техник префиксного сжатия и
прочих обычных для B+tree индексов).
На листовой странице могут лежать:

-- ссылка на ROWID, если индекс некластерный
-- самы данные физически, если индекс кластерный

Так columnstore отличается только тем, что там
-- индекс кластерный всегда (условно)
-- вместо самих данных храняться ссылки на значения в колоночных словарях.
Они вместе составляют кортеж, связывая значения для получения строки.
Никаких связей более не надо.

Возможно, конечно, бывают ещё какие-то схемы построения columnstore.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
24.07.2012, 13:25
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37890713
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
MasterZivНет, не обязаны. Достаточно ссылки из строки на значение в колонке.
Ты просто не думаешь о том, как ещё можно это сделать. А можно по-разному.

Я чувствую что правда где-то рядом но нужна иллюстрирующая картинка.
...
Рейтинг: 0 / 0
24.07.2012, 15:21
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37891162
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Любой ваш каприз за $50000/mo в кассу конторы ;)
...
Рейтинг: 0 / 0
24.07.2012, 19:14
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37891326
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я уж надеялся на опенсорс. А тут такое. Ну да ладно.
...
Рейтинг: 0 / 0
24.07.2012, 22:23
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37892030
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 07/24/2012 11:23 PM, mayton wrote:
> Я уж надеялся на опенсорс. А тут такое. Ну да ладно.

Опенсорс есть, он пошутил.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2012, 13:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37892574
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
Не пошутил. Софтину бесплатно --- пожалуйста. Доки бесплатно --- пожалуйста. Техпомощь бесплатно --- пожалуйста. А вот рисовать картинки под заказ, как "всемирная энциклопедия в комиксах" у Шекли --- $50000/mo.
...
Рейтинг: 0 / 0
25.07.2012, 16:56
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37892707
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
> Не пошутил. Софтину бесплатно --- пожалуйста. Доки бесплатно --- пожалуйста.
> Техпомощь бесплатно --- пожалуйста. А вот рисовать картинки под заказ, как
> "всемирная энциклопедия в комиксах" у Шекли --- $50000/mo.

Не, ну это понятно.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2012, 17:53
| Ответить | Цитировать | Написать  
25 сообщений из 56, страница 2 из 3
  2  все
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=56&msg=37892574&tid=2015316]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 252ms
get topic data:
 14ms
get forum data:
 2ms
get page messages:
 74ms
get tp. blocked users:
 1ms
others: 14ms
total:  388ms
созд. / загр.: 388ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]