ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
56 сообщений из 56, показаны все 3 страниц
  все  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37799979
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vovaka
Участник
В общем после довольно затянувшегося выбора, он наконец сделан. Это HP Vertica. Если у кого какие вопросы, обращайтесь. В России пока даже у НР нет специалистов :) Вау эффекты пока возникают регулярно:)
...
Рейтинг: 0 / 0
17.05.2012, 23:21
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37800039
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Росгоснанораспилтрест
Участник
Эта чё? Новый FVMas? Лет"с зи холивор бегин?
...
Рейтинг: 0 / 0
18.05.2012, 01:06
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37800058
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
VovakaВ России пока даже у НР нет специалистов :) Руководителю IT не позавидуешь. :-)
...
Рейтинг: 0 / 0
18.05.2012, 02:14
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37800095
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
Vovaka, Vertica - не первая СУБД в России, если что.
...
Рейтинг: 0 / 0
18.05.2012, 06:11
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37800203
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vovaka
Участник
Alexander RyndinVovakaВ России пока даже у НР нет специалистов :) Руководителю IT не позавидуешь. :-)

За время пилота уже почти все изучили :)
...
Рейтинг: 0 / 0
18.05.2012, 09:02
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37800206
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vovaka
Участник
tanglirVovaka, Vertica - не первая СУБД в России, если что.

Казнить нельзя помиловать :)
...
Рейтинг: 0 / 0
18.05.2012, 09:03
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37800213
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vovaka
Участник
РосгоснанораспилтрестЭта чё? Новый FVMas? Лет"с зи холивор бегин?

Продукт давно серьезный уже, только у нас как-то не представлен был ранее

C-Store — свободно распространяемая распределённая на основе SN-архитектуры поколоночная система управления базами данных. Разработана объединённой командой Брауновского университета, университета Брандейса и Массачусетского технологического института под руководством Майкла Стоунбрейкера.

В 2005 году Стоунбрекер и коллеги основали компанию Vertica для коммерческого выпуска и поддержки C-Store. В 2011 году компания была поглощена корпорацией Hewlett-Packard.

Немного инфы
...
Рейтинг: 0 / 0
18.05.2012, 09:10
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37800287
Фотография Last_Alien
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Last_Alien
Участник
Очень своевременный вброс: в обед Базист должен откинуться после недельной отсидки :-)))
...
Рейтинг: 0 / 0
18.05.2012, 09:53
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37801984
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
VovakaВ общем после довольно затянувшегося выбора, он наконец сделан. Это HP Vertica. Если у кого какие вопросы, обращайтесь. В России пока даже у НР нет специалистов :) Вау эффекты пока возникают регулярно:)Это хорошо. Приспособитесь работать с column-wise share-nothing, войдёте в вкус, начнёте всем нахваливать такую архитектуру, а тут как раз OpenLink Virtuoso 7 выйдет из поставок только партнёрам на продажи всем желающим, в ней как раз column-wise добавляется. Будет с кем пузомерки устраивать, у кого что и на каких запросах бодрее бегает.
...
Рейтинг: 0 / 0
19.05.2012, 11:39
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37879740
prusov_ee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
prusov_ee
Гость
Vovaka,
Расскажите какую версию тестировали, CE или платную?
Сколько узлов собирали в кластер, на каких серверах?
При проектировании физ. модели использовали Star Schema или что-то другое?
...
Рейтинг: 0 / 0
15.07.2012, 12:23
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37881583
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
prusov_eeVovaka,
Расскажите какую версию тестировали, CE или платную?
Сколько узлов собирали в кластер, на каких серверах?
При проектировании физ. модели использовали Star Schema или что-то другое?
Присовокупляюсь к вопросу.
...
Рейтинг: 0 / 0
17.07.2012, 07:38
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37886019
Фотография samatom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
samatom
Участник
tanglirVovaka, Vertica - не первая СУБД в России, если что.

угу. Например, хранилище на Vertica в Yota
...
Рейтинг: 0 / 0
19.07.2012, 18:54
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889139
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Судя по описанию Vertica - колончатая СУБД. Из этого следует что она работает только
in memory (или наиболее эффективна при работе с сегментом данных in memory)

?
...
Рейтинг: 0 / 0
23.07.2012, 13:49
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889277
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytonСудя по описанию Vertica - колончатая СУБД. Из этого следует что она работает только
in memory (или наиболее эффективна при работе с сегментом данных in memory)?А что, уже есть какие-то СУБД, которые наиболее производительны при чтении диска вместо памяти?

Колонки производительней строк как раз в тех случаях, когда строки в память уже не лезут, а нужные колонки ещё лезут. Из этого не следует, что колонки как-то особо тормозят при подкачке с диска.
...
Рейтинг: 0 / 0
23.07.2012, 15:16
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889315
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я так рассуждаю. В традиционной R-DBMS мы кластеризуем все атомы каждого кортежа рядышком.
Тоесть примерно так:

Код: sql
1.
2.
3.
Id|Name|Sal
1|mayton|999.9
2|iv_an_ru|998.0



Нет накладных на связи между атомами строки (кортежа).

В колоночных RDBMS (С-DBMS) мы обязаны для каждого атома ссылку на следующий атом
или в двунаправленных в обе стороны. Это накладные. Они могут быть коротким
указателем (32 бит в памяти или 64 бит) или ROWID/*ID идентификатором записи/
строки/блока/файла для файлово-ориентированной колоночной системы.

Я полагаю что в последнем варианте мы несём БОЛЬШИЕ накладные расходы
на хранение заполненной на 100% таблице (NOT NULL) для колоночной
системы.

У меня пока нет цифр. Это только инженерная интуиция но я думаю что это так.

Поэтому я считал что колоночные (like Qliki) системы эффективны для
расколбаса поисков и вставок in-memory. И еще эффективнее когда
мы заведомо работает с 2-3 столбцами а другие не трогаем.

Аргуменнты в пользу компрессии я читал. Не впечатляют.
Очень трудно прогнозировать в какой системе и где нужно
будет жать колонку а где нет. И трудно посчитать оверхед по ЦПУ
в этом случае. Поэтому интересует самый общий подход для 100% линейных
и шумящих данных без энтропии. Тоесть наихудший вариант.
...
Рейтинг: 0 / 0
23.07.2012, 15:37
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889333
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytonВ колоночных RDBMS (С-DBMS) мы обязаны для каждого атома ссылку на следующий атом
или в двунаправленных в обе стороны.
Хм, а зачем? Вы же в строковом представлении не делаете для каждого атома-поля двунаправленные сслыки на соседей слева и справа? Зачем вам в колонке вдруг понадобились ссылки вверх-вниз?

maytonАргуменнты в пользу компрессии я читал. Не впечатляют. Очень трудно прогнозировать в какой системе и где нужно будет жать колонку а где нет.То же самое и со строками. И решение в обоих случаях одно и то же --- жать всё подряд и надеяться на лучшее.
...
Рейтинг: 0 / 0
23.07.2012, 15:46
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889358
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_ruХм, а зачем? Вы же в строковом представлении не делаете для каждого атома-поля двунаправленные сслыки на соседей слева и справа? Зачем вам в колонке вдруг понадобились ссылки вверх-вниз?
Я и говорю про сcылки влево-вправо. Они весьма материальны. Весьма.
...
Рейтинг: 0 / 0
23.07.2012, 15:56
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889391
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_ruТо же самое и со строками. И решение в обоих случаях одно и то же --- жать всё подряд и надеяться на лучшее.
Я уже знаю как DDOS-ить подобную систему. У меня есть данные по измерениям (binary_float, binary_double). Они
жмуться (в идеале) дифференциальным алгоритмом+арифметика. Но random доступ к произвольному элементу
там отсутствует. Тоесть если я буду такую колонку бомбить обычными точеччными поисками я либо просажу
производительность нахер либо загужу CPU и память выше крыши ненужными разархивациями. Что вобщем-то
в обоих случаях - epic fail и пистон создателю системы.
...
Рейтинг: 0 / 0
23.07.2012, 16:13
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889425
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytoniv_an_ruХм, а зачем? Вы же в строковом представлении не делаете для каждого атома-поля двунаправленные сслыки на соседей слева и справа? Зачем вам в колонке вдруг понадобились ссылки вверх-вниз?
Я и говорю про сcылки влево-вправо. Они весьма материальны. Весьма.Да нету их вообще. И без них понятно, что 5-е значение в одной колонке соответствует 5-му значению в другой --- они оба в одной и той же 5-й строке.
...
Рейтинг: 0 / 0
23.07.2012, 16:32
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889432
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytoniv_an_ruТо же самое и со строками. И решение в обоих случаях одно и то же --- жать всё подряд и надеяться на лучшее.
Я уже знаю как DDOS-ить подобную систему. У меня есть данные по измерениям (binary_float, binary_double). Они
жмуться (в идеале) дифференциальным алгоритмом+арифметика. Но random доступ к произвольному элементу
там отсутствует. Тоесть если я буду такую колонку бомбить обычными точеччными поисками я либо просажу
производительность нахер либо загужу CPU и память выше крыши ненужными разархивациями. Что вобщем-то
в обоих случаях - epic fail и пистон создателю системы.Вы точно так же можете забомбить и "строковое" хранилище. Но чем больше ядер в среднем проце, и чем дороже доступ к памяти по сравнению с простыми вычислениями, тем чаще колонки оказываются предпочтительнее. SSD, кстати, тоже column-friendly --- уж очень запись медленная, так что чем меньше обновления, тем лучше.
...
Рейтинг: 0 / 0
23.07.2012, 16:38
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889454
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
iv_an_rumaytonпропущено...

Я и говорю про сcылки влево-вправо. Они весьма материальны. Весьма.Да нету их вообще. И без них понятно, что 5-е значение в одной колонке соответствует 5-му значению в другой --- они оба в одной и той же 5-й строке.А что с NULL в этом случае? Все храним?
...
Рейтинг: 0 / 0
23.07.2012, 16:45
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889472
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_rumaytonпропущено...

Я и говорю про сcылки влево-вправо. Они весьма материальны. Весьма.Да нету их вообще. И без них понятно, что 5-е значение в одной колонке соответствует 5-му значению в другой --- они оба в одной и той же 5-й строке.
Трудно с вами. Будто говорим на разных языках.
...
Рейтинг: 0 / 0
23.07.2012, 16:56
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889494
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytoniv_an_ruпропущено...
Да нету их вообще. И без них понятно, что 5-е значение в одной колонке соответствует 5-му значению в другой --- они оба в одной и той же 5-й строке.
Трудно с вами. Будто говорим на разных языках.Я вижу, что у вас какое-то странное представление о колоночном хранении, но ещё не понял, с какого момента оно начинает расходиться со всеми стандартными реализациями (точнее, со всеми стандартными после диссертации Абади).
...
Рейтинг: 0 / 0
23.07.2012, 17:09
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889495
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_ruТрудно с вами. Будто говорим на разных языках.Я вижу, что у вас какое-то странное представление о колоночном хранении, но ещё не понял, с какого момента оно начинает расходиться со всеми стандартными реализациями (точнее, со всеми стандартными после диссертации Абади).[/quot]
Дайте ссылки на материалы по внутренней организации С-RDBMS где описаны
способы хранения атомов, кортежей, сегментов таблиц. Желательно коротко.
Для ознакомления.
...
Рейтинг: 0 / 0
23.07.2012, 17:11
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889498
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
Alexander Ryndiniv_an_ruпропущено...
Да нету их вообще. И без них понятно, что 5-е значение в одной колонке соответствует 5-му значению в другой --- они оба в одной и той же 5-й строке.А что с NULL в этом случае? Все храним?Храним. Вздыхаем, жалеем место, но храним. вот недавно добавленные колонки для сплошных диапазонов старых строк обычно не хранятся --- и так ясно, что в этих местах сплошь default value.
...
Рейтинг: 0 / 0
23.07.2012, 17:12
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889567
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,
Ссылки в http://en.wikipedia.org/wiki/Column-oriented_DBMS вполне подойдут для начала.
...
Рейтинг: 0 / 0
23.07.2012, 17:49
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889578
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_rumayton,
Ссылки в http://en.wikipedia.org/wiki/Column-oriented_DBMS вполне подойдут для начала.
Я брал за основу картинку с хабра.



На ней явно видно что есть колонки столбцы и связи между ними горизонтальные.

Из вашей ссылки если смотреть так

wiki 1,2,3;
Smith,Jones,Johnson;
Joe,Mary,Cathy;
40000,50000,44000;

То выходит что связи вертикальные. Терминология яйца выеденного не стоит.
Я могу и назвать эти указатели косыми, верхними правыми - пох. Это просто
система отсчёта. Главное что они - МАТЕРИАЛЬНЫ. И имеют дисковый оверхед.
...
Рейтинг: 0 / 0
23.07.2012, 17:56
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889591
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Ни там ни там указатели не хранятся _вообще_. Я не знаю, где вы их увидели на этих картинках.

Страничная структура индексного дерева хранится, понятное дело, но размер номера страницы по сравнению с размером страницы мы гордым словом "оверхед" называть не будем.
...
Рейтинг: 0 / 0
23.07.2012, 18:03
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889596
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_rumayton,

Ни там ни там указатели не хранятся _вообще_. Я не знаю, где вы их увидели на этих картинках.

Страничная структура индексного дерева хранится, понятное дело, но размер номера страницы по сравнению с размером страницы мы гордым словом "оверхед" называть не будем.
ОК. Давайте рассуждать. Каким образом организованы связи между атомами первого столбца
(GM,GM,GM,AAPL...) и одинадцатого (30.77, 30.77, 30.79....) ?
...
Рейтинг: 0 / 0
23.07.2012, 18:09
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889660
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Да никак. Вот ищете вы значение из одиннадцатого столбца, соответствующее значению AAPL в первом столбце. Смотрете на первый столбец, ищете в нём AAPL. Нашли, на четвёртом месте. Значит не глядя берёте четвёртое значение из одиннадцатого столбца и возвращаете. Всё. Какие ещё нужны связи?
...
Рейтинг: 0 / 0
23.07.2012, 19:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889663
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_rumayton,

Да никак. Вот ищете вы значение из одиннадцатого столбца, соответствующее значению AAPL в первом столбце. Смотрете на первый столбец, ищете в нём AAPL. Нашли, на четвёртом месте. Значит не глядя берёте четвёртое значение из одиннадцатого столбца и возвращаете. Всё. Какие ещё нужны связи?
Насколько я понимаю, для оптимального доступа столбцы организуются как структура данных
оптимизированная по поиску элемента и по поиску в диапазоне (это нужно для аналитики).
Скорее всего это вариации на тему B+Tree. Верно?
...
Рейтинг: 0 / 0
23.07.2012, 19:07
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889667
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytoniv_an_rumayton,

Да никак. Вот ищете вы значение из одиннадцатого столбца, соответствующее значению AAPL в первом столбце. Смотрете на первый столбец, ищете в нём AAPL. Нашли, на четвёртом месте. Значит не глядя берёте четвёртое значение из одиннадцатого столбца и возвращаете. Всё. Какие ещё нужны связи?
Насколько я понимаю, для оптимального доступа столбцы организуются как структура данных
оптимизированная по поиску элемента и по поиску в диапазоне (это нужно для аналитики).
Скорее всего это вариации на тему B+Tree. Верно?На уровне целых страниц --- да, деревья, почти одинаковые что для строк что для колонок.
...
Рейтинг: 0 / 0
23.07.2012, 19:12
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889670
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мой друг. Деревья не поддерживают операцию "взять четвёртое значение из одиннадцатого столбца". Это нонсенс.
Там нет никакого четвёртого значения.
...
Рейтинг: 0 / 0
23.07.2012, 19:14
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889678
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Ещё раз. В дерево организуются целые страницы. Большие листики у этого дерева, понимаете? 8-16 Кb сжатых данных. А вот в пределах листика номер строки/столбца/строки+столбца очень даже может быть использован для доступа.
...
Рейтинг: 0 / 0
23.07.2012, 19:26
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889714
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Это не даёт ответа на мой вопрос

Каким образом организованы связи между атомами первого столбца и одинадцатого?
...
Рейтинг: 0 / 0
23.07.2012, 20:26
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889716
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Да никак не организованы. В каждой колонке, относящейся к одному и тому же листу дерева страниц, первое значение относится к первой записи, второе --- ко второй и всё. Не знаю, как ещё объяснить. Как у вас организованы связи между соседними клеточками на листе в клеточку?
...
Рейтинг: 0 / 0
23.07.2012, 20:31
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889719
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
По вашему, в каждом листике дерева (столбце) хранятся все копии
всех соседних атомов?
...
Рейтинг: 0 / 0
23.07.2012, 20:36
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889725
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

А в столбике клеточек на листике хранятся копии клеточек всех соседних столбиков?
...
Рейтинг: 0 / 0
23.07.2012, 20:45
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889738
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Давай так. Я структуру хранилища C-DBMS не знаю. Я рассуждаю
на основании тех сведений которые прочёл. И на основании здравого
смысла делаю предположения о том как хранилище устроено. То
что ты мне рассказываешь противоречит моему представлению
о том как должна работать C-DBMS. Поэтому у меня соотв.
возникает реакция неприятия. Пример с клеточным листом
- неудачный. У нас нет клеточек и нет массивов. Иначе
мы получили-бы линейный O(n) на insert/delete.
Так не проектируются никакие DBMS. Ни реляционные
не колоночные.
...
Рейтинг: 0 / 0
23.07.2012, 21:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889749
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
maytonДавай так. Я структуру хранилища C-DBMS не знаю. Я рассуждаю на основании тех сведений которые прочёл. И на основании здравого смысла делаю предположения о том как хранилище устроено.Предлагаю вместо предположений просто прочитать больше. Мне не жалоко 15 минут на объяснение маленькой разницы между строковыми и колоночными реляционными СУБД, но банально нет времени на рассказ о реляционных СУБД с самого начала.
...
Рейтинг: 0 / 0
23.07.2012, 21:27
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889778
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iv_an_ru, ты меня ставишь в неравные условия. Согласись. По
той ссылке что ты привёл - нет описания метода хранения
кортежей и атомов.
...
Рейтинг: 0 / 0
23.07.2012, 22:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37889785
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Я привёл ссылку на список ссылок. См. конец статьи.
...
Рейтинг: 0 / 0
23.07.2012, 22:15
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37890418
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 07/23/2012 04:37 PM, mayton wrote:

> В колоночных RDBMS (С-DBMS) мы обязаны для каждого атома ссылку на следующий атом
> или в двунаправленных в обе стороны.

Нет, не обязаны. Достаточно ссылки из строки на значение в колонке.
Ты просто не думаешь о том, как ещё можно это сделать. А можно по-разному.

Это накладные. Они могут быть коротким
> указателем (32 бит в памяти или 64 бит) или ROWID/*ID идентификатором записи/
> строки/блока/файла для файлово-ориентированной колоночной системы.

Даже если так,
1) неразумно хранить эти ссылки в значении -- значение одно, а используется оно
во многих строках.
2) 32 бит в памяти или 64 бит -- немного.

> У меня пока нет цифр. Это только инженерная интуиция но я думаю что это так.
>
> Поэтому я считал что колоночные (like Qliki) системы эффективны для
> расколбаса поисков и вставок in-memory. И еще эффективнее когда
> мы заведомо работает с 2-3 столбцами а другие не трогаем.

Считал неверно. Они эффективны, когда есть повторение данных в разных
строках колонки. И даже если нет повторений, они всё равно эффективны.
За счёт сжатия данных. А не эффективны -- в жёстком OLTP.

> будет жать колонку а где нет. И трудно посчитать оверхед по ЦПУ

Там выигрыш в чтениях с диска, потому что МЕНЬШЕ надо читать.
Это -- мили/микро секунды. А CPU - нано. Для того, чтобы загробить
преимущество, нужно ОЧЕНЬ большой оверхед на CPU. В тыщи раз.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
24.07.2012, 13:15
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37890429
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 07/23/2012 11:04 PM, mayton wrote:


Тупо-глупо.

B+tree. Данные в нём несжаты, обычные (кроме всех техник префиксного сжатия и
прочих обычных для B+tree индексов).
На листовой странице могут лежать:

-- ссылка на ROWID, если индекс некластерный
-- самы данные физически, если индекс кластерный

Так columnstore отличается только тем, что там
-- индекс кластерный всегда (условно)
-- вместо самих данных храняться ссылки на значения в колоночных словарях.
Они вместе составляют кортеж, связывая значения для получения строки.
Никаких связей более не надо.

Возможно, конечно, бывают ещё какие-то схемы построения columnstore.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
24.07.2012, 13:25
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37890713
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
MasterZivНет, не обязаны. Достаточно ссылки из строки на значение в колонке.
Ты просто не думаешь о том, как ещё можно это сделать. А можно по-разному.

Я чувствую что правда где-то рядом но нужна иллюстрирующая картинка.
...
Рейтинг: 0 / 0
24.07.2012, 15:21
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37891162
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
mayton,

Любой ваш каприз за $50000/mo в кассу конторы ;)
...
Рейтинг: 0 / 0
24.07.2012, 19:14
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37891326
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я уж надеялся на опенсорс. А тут такое. Ну да ладно.
...
Рейтинг: 0 / 0
24.07.2012, 22:23
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37892030
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 07/24/2012 11:23 PM, mayton wrote:
> Я уж надеялся на опенсорс. А тут такое. Ну да ладно.

Опенсорс есть, он пошутил.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2012, 13:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37892574
Фотография iv_an_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iv_an_ru
Участник
Не пошутил. Софтину бесплатно --- пожалуйста. Доки бесплатно --- пожалуйста. Техпомощь бесплатно --- пожалуйста. А вот рисовать картинки под заказ, как "всемирная энциклопедия в комиксах" у Шекли --- $50000/mo.
...
Рейтинг: 0 / 0
25.07.2012, 16:56
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37892707
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
> Не пошутил. Софтину бесплатно --- пожалуйста. Доки бесплатно --- пожалуйста.
> Техпомощь бесплатно --- пожалуйста. А вот рисовать картинки под заказ, как
> "всемирная энциклопедия в комиксах" у Шекли --- $50000/mo.

Не, ну это понятно.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2012, 17:53
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37892808
prusov_ee
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
prusov_ee
Гость
Кто-нибудь использовал Vertica для решения реальных задач на реальных проектах???

P.S. Не вижу никакого практического смысла во всей этой куче постов.
...
Рейтинг: 0 / 0
25.07.2012, 18:48
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37908344
Фотография roden
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
roden
Участник
Vovakaвстречаем первую в России СУБД HP Vertica! Видимо пропущен знак препинания, отсюда и смысл какой-то двоякий.
Да, ещё в конце прошлого года HP обзавелась Vertica. Но ... как показывает практика общения с подразделением HP в России, это не панацея, и они не собираются зацикливаться на этом решении.
Например, специально для HP под OpenVMS (на платформе Intel Itanium) создана сборка RDBMS ЛИНТЕР.
...
Рейтинг: 0 / 0
08.08.2012, 11:04
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37937362
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vovaka
Участник
Коллеги, прошу прощения, долго не появлялся.

prusov_eeVovaka,
Расскажите какую версию тестировали, CE или платную?
Сколько узлов собирали в кластер, на каких серверах?
При проектировании физ. модели использовали Star Schema или что-то другое?

Тестировали платную версию на кластере из трех виртуальных серверов.

samatomtanglirVovaka, Vertica - не первая СУБД в России, если что.

угу. Например, хранилище на Vertica в Yota

Про него и речь :)

prusov_eeКто-нибудь использовал Vertica для решения реальных задач на реальных проектах???

P.S. Не вижу никакого практического смысла во всей этой куче постов.

Да, в Yota в продакшене с мая этого года.

rodenVovakaвстречаем первую в России СУБД HP Vertica! Видимо пропущен знак препинания, отсюда и смысл какой-то двоякий.
Да, ещё в конце прошлого года HP обзавелась Vertica. Но ... как показывает практика общения с подразделением HP в России, это не панацея, и они не собираются зацикливаться на этом решении.
Например, специально для HP под OpenVMS (на платформе Intel Itanium) создана сборка RDBMS ЛИНТЕР.

Ничего не пропущено. Это первое внедрение в России. И вот недавно еще узнаем, что может и второе тоже будет у нас, так получилось, что один из вендоров наших систем в новом поколении своего решения вместо Оракла использует теперь тоже Вертику :)
...
Рейтинг: 0 / 0
30.08.2012, 15:57
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37938523
Фотография roden
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
roden
Участник
Vovakarodenпропущено...
Видимо пропущен знак препинания, отсюда и смысл какой-то двоякий.
Да, ещё в конце прошлого года HP обзавелась Vertica. Но ... как показывает практика общения с подразделением HP в России, это не панацея, и они не собираются зацикливаться на этом решении.
Например, специально для HP под OpenVMS (на платформе Intel Itanium) создана сборка RDBMS ЛИНТЕР.

Ничего не пропущено. Это первое внедрение в России.
Ну теперь гораздо более понятно.
Поздравляю с начинаем.
...
Рейтинг: 0 / 0
31.08.2012, 12:21
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37946958
safework
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
safework
Гость
rodenVovakaпропущено...


Ничего не пропущено. Это первое внедрение в России.
Ну теперь гораздо более понятно.
Поздравляю с начинаем.
Присоединяемся к поздравлениям.
...
Рейтинг: 0 / 0
06.09.2012, 16:30
| Ответить | Цитировать | Написать  
Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
    #37953425
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vovaka
Участник
Похоже, что и вторая в России тоже нам досталась.
Компания СА, поставщик одного из наших решений, в новой его версии (а точнее поколении, даже название меняется) меняет Oracle на Vertica. Так что мы получили и вторую лицензию.
...
Рейтинг: 0 / 0
11.09.2012, 21:25
| Ответить | Цитировать | Написать  
56 сообщений из 56, показаны все 3 страниц
  все  
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Выбирали, выбирали и ... - встречаем первую в России СУБД HP Vertica!
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/search_topic.php?author=Fitch&author_mode=last_topics&do_search=1]:
 0ms
get settings:
 10ms
get forum list:
 10ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 167ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 74ms
get tp. blocked users:
 2ms
others: 609ms
total:  913ms
созд. / загр.: 913ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]