powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор СУБД для больших данных
9 сообщений из 34, страница 2 из 2
Выбор СУБД для больших данных
    #38409240
Neerrar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vovaka , я вертику взял по совету из первого комментария. Для аналитики она просто превосходна! Единственный недостаток, который я нашел на данный момент - крайне медленные апдейты. Так что приходится туда заливать только необходимые для аналитики данные.

lookat , спасибо, я посмотрю на эту субд. Ибо вопрос с аналитикой по этим данным решен, а вот вопрос хранения сырых данных нет.

Так что теперь задача у меня сводится к поиску субд, которая сможет хранить необходимый объем данных, а главное осуществлять быстрый поиск по отличным от primary-key полям на этой базе.
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38409329
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Neerrar Vovaka , я вертику взял по совету из первого комментария. Для аналитики она просто превосходна! Единственный недостаток, который я нашел на данный момент - крайне медленные апдейты. Так что приходится туда заливать только необходимые для аналитики данные.

Ну в Вертике они хотя бы есть, в отличие например от GreenPlum c его Append only storage. Медленные они в силу того, что каждый update по факту вставка двух записей, одна о том, что запись удалена, вторая с новыми значениями, а т.к. ROS контейнеры в Вертике основаны на принципе write once, то все контейнеры с измененными записями нужно перестроить и перезаписать. Но частично проблему большого кол-ва апдейтов можно решить разными способами, например можно поиграться с партиционированием и стейджингом, залить изменения как вставки, сформировать и вставить новый набор данных с учетом изменений и удалить ненужные уже партиции - будет работать на порядки быстрее. Ну и т.п.
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38409565
Neerrar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vovaka , я пока решил таким вот способом:
1. Я веду некий "лог" изменений в обычной БД
2. Раз в 5 минут выгребаю все данные из этого лога
3. Собираю данные для актуального состояния
4. Удаляю обновляемые данные из Вертики
5. Заливаю через COPY актуальные данные в вертику

Вот как-то так.
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38409592
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Neerrar Vovaka , я пока решил таким вот способом:
1. Я веду некий "лог" изменений в обычной БД
2. Раз в 5 минут выгребаю все данные из этого лога
3. Собираю данные для актуального состояния
4. Удаляю обновляемые данные из Вертики
5. Заливаю через COPY актуальные данные в вертику

Вот как-то так.
берешь гринплам и делаешь тоже самое.
Только в пункте 1. вместо отдельной бд, просто row-based таблица в том же гринпламе.
И тогда пункт 5 будет в разы шустрее.
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38409597
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
или вообще одна таблица - партиция append-only Column-Oriented + партиция обычная row-based для обновлений.
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38409602
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Neerrar а главное осуществлять быстрый поиск по отличным от primary-key полям на этой базе.
для этого есть банальные индексы - решение поверенное десятилетиями. Не знаю как в вертике - а в гринпламе они есть, причем и б-три и битмап даже
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38409621
Фотография Vovaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakNeerrar а главное осуществлять быстрый поиск по отличным от primary-key полям на этой базе.
для этого есть банальные индексы - решение поверенное десятилетиями. Не знаю как в вертике - а в гринпламе они есть, причем и б-три и битмап даже

В Вертике индексов нет в принципе. Там другая архитектура. Но ТС, насколько я понял, для сырцов выбирает что-то бесплатное. Хотя и Вертика до 1ТБ тоже бесплатна.
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38416190
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VovakaА если будет 50 - какие прогнозы? Ничего не имею против данного решения, просто когда у меня было 3 лярда, я знал, что будет 30 и ничего не изменится, сейчас у меня за 30 местами и я знаю, что будет 300 и опять ничего не изменится в плане производительности. Только лицензии и серваки докупать в кластер :)

наш рост не опережает прогресса систем хранения, уже 5Тб HDD на подходе )
...
Рейтинг: 0 / 0
Выбор СУБД для больших данных
    #38438701
APlus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Рекомендую Vertica.

Основные плюсы:
- Аналитика в реальном времени – и запросы, и загрузка данных
- Поддерживает действительно большие объемы данных– Терабайты и больше
- Неограниченная масштабируемость
- Экстремальная производительность
- Простота использования и администрирования
-Легкость разработки решения.
- Энергетическая эффективность

Если добавить к Vertica еще Tableau для визуализации данных, получится отличное BI-решение. Подробнее http://analytikaplus.ru/?page_id=68

Примеры успешных внедрений HP Vertica + Tableau: http://analytikaplus.ru/?p=751
...
Рейтинг: 0 / 0
9 сообщений из 34, страница 2 из 2
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор СУБД для больших данных
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]