powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД и архитектуры
41 сообщений из 41, показаны все 2 страниц
Выбор СУБД и архитектуры
    #37583889
z1xel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Приветствую!

Есть задача: хранить статистику(что-то типа баннерной сети) и делать по ней агрегативные выборки. Данные предполагается хранить в агрегированом виде, за интервалы времени, представляют из себя таймстемп, гео и еще какой-то набор признаков(несколько отдельныйх полей). Предположительный объем данных 2-5 млн. записей в месяц, но в силу наличия этих самых неопределенных "признаов", объем может возрасти на несколько порядков(самый выражденный случай - около миллиарда записей).

Вопросы:
Какую СУБД выбрать?
Как организовать данные?

На данный момент смотрю в сторону PostgreSQL(в силу того, что есть опыт, но больше со сложными структурами, нежели с большими объемами), данные думаю разбивать на помесячные таблички.

Советы? Критика? Опыт? Буду весьма признателен... =)
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37583904
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторНа данный момент смотрю в сторону PostgreSQL в силу того, что есть опыт

Сам спросил, сам ответил - всегда бы так.
Бери Постгрес, отличная СУБД.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584071
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
z1xel самый выражденный случай - около миллиарда записейЭто в месяц или итого?
z1xel Какую СУБД выбрать?Если уже есть опыт работы с PostgreSQL и все устраивает, то нужно очень постараться чтобы склонить вас к другой СУБД.
z1xel Как организовать данные?
...
данные думаю разбивать на помесячные таблички.
У меня было так
Данные младше месяца - по дням
Данные старше двух месяцев - по месяцам
Затем по годам и дальше должна быть одна табличка СТАРЫЕ_ДАННЫЕ (я уволился раньше чем эта таблица наполнилась)
То есть раз в день создается/заливается очередная таблица
Раз в месяц старые подневные таблички объединяются в месячную таблицу
Раз в год последние месяцы заливаются в годовую.
И всем рулила одна большая вьюха с union all, так что для пользователя заливка проходила мгновенно (как alter view)
Связано это было со спецификой запросов - последние данные (с фильтром по дате) запрашивали чаще всего.

С другой стороны при наличии хороших агрегаторов (производных таблиц или материализованных вьюх) сырые данные могут хранится как угодно.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584133
SERG1257С другой стороны при наличии хороших агрегаторов (производных таблиц или материализованных вьюх) сырые данные могут хранится как угодно.
А разве в PG есть мат вью?
Только если самому реализовывать на триггерах.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584161
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторТолько если самому реализовывать на триггерах. Какие триггеры? Это чистая read-only система (по описанию).
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584169
SERG1257авторТолько если самому реализовывать на триггерах. Какие триггеры? Это чистая read-only система (по описанию).
Расскажите как вы собираетесь делать мат вью на PG?
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584197
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в PG есть мат вью?SERG1257пропущено...
Какие триггеры? Это чистая read-only система (по описанию).
Расскажите как вы собираетесь делать мат вью на PG?

Да хоть на тех же триггерах. Там кода 10 строчек максимум. Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584245
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в PG есть мат вью? Расскажите как вы собираетесь делать мат вью на PG? На PG я буду делать производные агрегатные таблицы заполняемые/обновляемые при заливке очередной порции данных. Приложение будет знать имя этих таблиц и верить что они заполнены верно.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584323
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
РосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?

Пусть попробует indexed views в MS SQL Express Edition, вдруг понравится. :) Правда хинтик NOEXPAND приедтся в запросики добавлять.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584344
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
РосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?
Сами спросили, сами ответили - всегда бы так. (с) Росгоснанораспилтрест
Такой выбор снимет все технические причины выбора раз и на долго. Ну пока Оркал не начнгет отставть от кого-либо.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584410
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfo, как только начнут косячить по-крупному - отстанут. Они не первые и не последние.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584417
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfo, А если чуваки делают прикладной софт, который будут продавать в коробке, требующей базу?
Морочиться с экспрессами, или заставлять покупать ещё и оракель? Не нормально.
Это неуважение к клиенту.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584463
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОКТОГЕН,

Вообще-то для коробки от Оракла скидки чуть-ли не 80 процентов от цены: я на семинаре от их слышал. Там все культурно с коробками.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584547
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinРосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?

Пусть попробует indexed views в MS SQL Express Edition, вдруг понравится. :) Правда хинтик NOEXPAND приедтся в запросики добавлять.

Нет, не нужно.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584549
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfoРосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?
Сами спросили, сами ответили - всегда бы так. (с) Росгоснанораспилтрест
Такой выбор снимет все технические причины выбора раз и на долго. Ну пока Оркал не начнгет отставть от кого-либо.

Круто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =)))
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584557
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
РосгоснанораспилтрестНет, не нужно.

Что так?!
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584583
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
РосгоснанораспилтрестКруто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =)))
Ну это Вам, наверное, на форум БелазКлуб. Возможно, там подскажут как попасть на тест драйв Белазов. Сам то я Белазами не интересуюсь. Меня больше Бэхи там всякие занимают.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584584
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfo, то есть, вас устраивает, что ваша репутация зависит от политики кого-то там?
Всё же считаю, что заставлять клиента покупать сторонний софт это некорректно и непрофессионально.
Скрытые платежи из той же серии.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584656
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОКТОГЕНvadiminfo, то есть, вас устраивает, что ваша репутация зависит от политики кого-то там?
Всё же считаю, что заставлять клиента покупать сторонний софт это некорректно и непрофессионально.
Скрытые платежи из той же серии.
Ну я не сторонник КПРФ, чтобы чрезмерно отрицательно относиться к репутации людей юзающих какие-то буржуазные идеи при торговле.
Скрытые платежи есть читобы Вы не покуапали. Или компы тоже самому производить, чтобы не заставлять покупать посторонний хард?
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584657
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pkarklinРосгоснанораспилтрестНет, не нужно.

Что так?!

Ну, во-первых: человек уже знает PostgreSQL.
Во-вторых: PostgreSQL прекрасно справится с данной задачей.
В-третьих: скорее всего, это WEB, а значит никакой венды там нет, и она там неприменима чуть более, чем совсем.
В-четвёртых: зачем человеку лишние затраты, измеряющиеся тысячами, а в перспективе - десятками тысяч долларов?
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584659
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfoРосгоснанораспилтрестКруто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =)))
Ну это Вам, наверное, на форум БелазКлуб. Возможно, там подскажут как попасть на тест драйв Белазов. Сам то я Белазами не интересуюсь. Меня больше Бэхи там всякие занимают.

Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться...
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584665
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfo, зачем накручивать цену товара, если вам с этого ничего не перепадёт?
Смысл какой? Упрощать сложно, а вот усложнять просто.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584675
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
РосгоснанораспилтрестНу, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться...
А почему не так:

Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БЕХа за батоном и пивом гонять. Но ея прокатиться не дал бы.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584680
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОКТОГЕНvadiminfo, зачем накручивать цену товара, если вам с этого ничего не перепадёт?
Смысл какой? Упрощать сложно, а вот усложнять просто.
Смысл великий есть: от снять для себя проблему выбора СУБД раз и на долго, до надежды найти нужну фичу в нужный момент.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584691
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfo, для того, чтоб были все фичи раз и надолго - вы ценник видели?
Экспресс не пойдёт, ограничения имеются.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584700
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОКТОГЕН,
на этот случай есть эдишен. Я ить упомянул там термин "технические", а не экономические.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584714
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfoРосгоснанораспилтрестНу, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться...
А почему не так:

Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БЕХа за батоном и пивом гонять. Но ея прокатиться не дал бы.

Ну, если ты ихний дистрибьютор, и имеешь гешефт с каждой копии - тогда да, сорри.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584725
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
РосгоснанораспилтрестНу, если ты ихний дистрибьютор, и имеешь гешефт с каждой копии - тогда да, сорри.
Скорей всего, там хде ихнее юзают не тока ихние дистрибьюторы работают. Возможно, это не ихний подходит тока дистрибьторам. Кто знает?
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584803
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
z1xelПриветствую!

делать по ней агрегативные выборки. Данные предполагается хранить в агрегированом виде, за интервалы времени, представляют из себя таймстемп, гео и еще какой-то набор признаков(несколько отдельныйх полей).

Вопросы:

Как организовать данные?


OLAP

z1xelКакую СУБД выбрать?


Любую с поддержкой ОЛАП из коробки.
Вроде даже в экселе можно кубы рисовать.

z1xelНа данный момент смотрю в сторону PostgreSQL(в силу того, что есть опыт, но больше со сложными структурами, нежели с большими объемами), данные думаю разбивать на помесячные таблички.

Советы? Критика? Опыт? Буду весьма признателен... =)


Найдите спеца по ОЛАП , какую он обоснует, ту и берите .
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584850
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОКТОГЕНесли чуваки делают прикладной софт, который будут продавать в коробке, требующей базу?
Морочиться с экспрессами, или заставлять покупать ещё и оракель? Не нормально.
Это неуважение к клиенту.
Для прикладной коробки неуважением является использование СУБД, не той, которая уже есть у
покупателя. Разводить зоопарк в чужой серверной это нехорошо и чаще всего бесперспективно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37584885
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov, тоже да.
Для каждой СУБД должно быть своё решение и реализация.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37585168
z1xel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ого дискуссия развернулась.... Всем спасибо за советы. :D

По существу вопроса:

Если уже есть опыт работы с PostgreSQL и все устраивает, то нужно очень постараться чтобы склонить вас к другой СУБД.
Меня в данном случае больше интересует эффективность, нежели собственные привычки =)

Для использования Оракла не вижу объктивных причин, от СУБД нужно всего ничего:

1. хранение данных в виде дерева (будет замечательно, если Postgres такое сумеет, например PK по всем полям и хранить вместо таблички только ее индекс)
2. дополнительные индексы (без лишнего гемороя)
2. where <=> , group by

OLAP
Опять же, излишне.


Смотрел на всякого рода NoSQL, вполне терпимо подходящей показалась Cassandra , можно приготовить все необходимое, но ее приимущества проявятся при объемах на несколько порядков больше, а геморойность - сразу.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37585230
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
z1xel Меня в данном случае больше интересует эффективность, нежели собственные привычки =) Речь не о привычках, а об опыте работы.
z1xel хранение данных в виде дерева ВСЕ РСУБД хранят данные в виде таблиц. Дерево оно только для клиента
z1xel хранить вместо таблички только ее индексIOT от Oracle, кластеризованный индекс в MSSQL, это?

И чтобы два раза не вставать, ответьте
1 Платформа
2 Бюджет
3 внутренняя разработка или коробочный продукт на продажу.
Очень знаете ли влияют на выбор
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37585360
z1xel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
кластеризованный индекс в MSSQL, это?

угу, я вроде у Postgres про что-то такое читал, но возможно ошибаюсь


1 Платформа - Linux
2 Бюджет - маленький, стоимость лицензий изначально не закладывалась
3 внутренняя разработка или коробочный продукт на продажу - внутренняя разработка
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37585632
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
z1xel 1 Платформа - Linux
2 Бюджет - маленький, стоимость лицензий изначально не закладывалась
3 внутренняя разработка или коробочный продукт на продажу - внутренняя разработка PG, почти без вариантов
авторя вроде у Postgres про что-то такое читал, но возможно ошибаюсьЗдесь это оффтопик. Спрашивайте в соседнем

z1xel > OLAP
Опять же, излишне.
Не соглашусь. По вашему описанию задача 100% для OLAP, а значит в ней (в OLAP) уже протоптаны дорожки, ограждены грабли и разработаны best practice. То есть эта тема гораздо больше чем Apache Cassandra заслуживает изучения.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37586016
z1xelСмотрел на всякого рода NoSQL, вполне терпимо подходящей показалась Cassandra , можно приготовить все необходимое, но ее приимущества проявятся при объемах на несколько порядков больше, а геморойность - сразу.
И чего именно вам в Cassandra так понравилось и чего так отпугнуло?

В PG только что появился IOS, не знаю выпустили с ним уже рилиз или нет. Делаете покрывающий индекс и использоваться будет только он. Только при DML дублироваться данные в таблице и индексе будут.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37586018
Росгоснанораспилтреств PG есть мат вью?SERG1257пропущено...
Какие триггеры? Это чистая read-only система (по описанию).
Расскажите как вы собираетесь делать мат вью на PG?

Да хоть на тех же триггерах . Там кода 10 строчек максимум. Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?
- какие ещё нах триггеры?
- ладно, ну расскажите как без них
- да хоть на тех же триггерах
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37586057
Фотография Росгоснанораспилтрест
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в PG есть мат вью?Росгоснанораспилтрестпропущено...


Да хоть на тех же триггерах . Там кода 10 строчек максимум. Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось?
- какие ещё нах триггеры?
- ладно, ну расскажите как без них
- да хоть на тех же триггерах


А чё, в этих ваших ораклах триггеры В СВОЕЙ ОСНОВЕ таки имеют шота другое?
Да эти ваши матвью - просто муркетинговый зойоп, не более.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37586141
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Матвьюв на триггерах? Маркетиговый ход? А кондей -а авто тоже маркетиговый ход? Его можно на открытых окнах? Не знау уж что и за марка такая авто? Ну так некоторые и всю СУБД налабали. И не на С а на Дельфях. Я же говорил, что надо было брать Оракл и не париться.
Не послушали? Много лишней кодоэнергии? Ну валяйте теперь на триггерах. Журналы изменений. Потом процедуры, которые будут читать эти изменеия по расписанию. Там еще нуно как-то еще предотвращать потерю актуальности (часть изменеий не потеряно). Ить аналитика преполагает риски, что матвьюв могут понадобиться. Там и до репликации Ведущий-ведомый уже буит рукой подать.
Успехов.
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37586204
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Люди добрые, поделитесь знаниями - а как прикидывать на пальцах объемы? задача из старт-поста - она гарантированно не влезает в оракл-экспресс с его
авторограничение размера пользовательских данных до 4GB (объем данных, занимаемый системными таблицами сюда не входит)
даже если часть данных (старая) - лежит в скомпрессированных таблспейсах?
...
Рейтинг: 0 / 0
Выбор СУБД и архитектуры
    #37587010
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadiminfo, вот я и говорю, что усложнять просто, упрощать сложно.
...
Рейтинг: 0 / 0
41 сообщений из 41, показаны все 2 страниц
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор СУБД и архитектуры
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]