|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
Приветствую! Есть задача: хранить статистику(что-то типа баннерной сети) и делать по ней агрегативные выборки. Данные предполагается хранить в агрегированом виде, за интервалы времени, представляют из себя таймстемп, гео и еще какой-то набор признаков(несколько отдельныйх полей). Предположительный объем данных 2-5 млн. записей в месяц, но в силу наличия этих самых неопределенных "признаов", объем может возрасти на несколько порядков(самый выражденный случай - около миллиарда записей). Вопросы: Какую СУБД выбрать? Как организовать данные? На данный момент смотрю в сторону PostgreSQL(в силу того, что есть опыт, но больше со сложными структурами, нежели с большими объемами), данные думаю разбивать на помесячные таблички. Советы? Критика? Опыт? Буду весьма признателен... =) ... |
|||
:
Нравится:
Не нравится:
|
|||
19.12.2011, 20:38 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
авторНа данный момент смотрю в сторону PostgreSQL в силу того, что есть опыт Сам спросил, сам ответил - всегда бы так. Бери Постгрес, отличная СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.12.2011, 20:46 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
z1xel самый выражденный случай - около миллиарда записейЭто в месяц или итого? z1xel Какую СУБД выбрать?Если уже есть опыт работы с PostgreSQL и все устраивает, то нужно очень постараться чтобы склонить вас к другой СУБД. z1xel Как организовать данные? ... данные думаю разбивать на помесячные таблички. У меня было так Данные младше месяца - по дням Данные старше двух месяцев - по месяцам Затем по годам и дальше должна быть одна табличка СТАРЫЕ_ДАННЫЕ (я уволился раньше чем эта таблица наполнилась) То есть раз в день создается/заливается очередная таблица Раз в месяц старые подневные таблички объединяются в месячную таблицу Раз в год последние месяцы заливаются в годовую. И всем рулила одна большая вьюха с union all, так что для пользователя заливка проходила мгновенно (как alter view) Связано это было со спецификой запросов - последние данные (с фильтром по дате) запрашивали чаще всего. С другой стороны при наличии хороших агрегаторов (производных таблиц или материализованных вьюх) сырые данные могут хранится как угодно. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.12.2011, 23:19 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
SERG1257С другой стороны при наличии хороших агрегаторов (производных таблиц или материализованных вьюх) сырые данные могут хранится как угодно. А разве в PG есть мат вью? Только если самому реализовывать на триггерах. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 00:29 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
авторТолько если самому реализовывать на триггерах. Какие триггеры? Это чистая read-only система (по описанию). ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 01:24 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
SERG1257авторТолько если самому реализовывать на триггерах. Какие триггеры? Это чистая read-only система (по описанию). Расскажите как вы собираетесь делать мат вью на PG? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 01:45 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
в PG есть мат вью?SERG1257пропущено... Какие триггеры? Это чистая read-only система (по описанию). Расскажите как вы собираетесь делать мат вью на PG? Да хоть на тех же триггерах. Там кода 10 строчек максимум. Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 02:29 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
в PG есть мат вью? Расскажите как вы собираетесь делать мат вью на PG? На PG я буду делать производные агрегатные таблицы заполняемые/обновляемые при заливке очередной порции данных. Приложение будет знать имя этих таблиц и верить что они заполнены верно. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 04:26 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
РосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось? Пусть попробует indexed views в MS SQL Express Edition, вдруг понравится. :) Правда хинтик NOEXPAND приедтся в запросики добавлять. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 09:04 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
РосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось? Сами спросили, сами ответили - всегда бы так. (с) Росгоснанораспилтрест Такой выбор снимет все технические причины выбора раз и на долго. Ну пока Оркал не начнгет отставть от кого-либо. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 09:22 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfo, как только начнут косячить по-крупному - отстанут. Они не первые и не последние. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 10:14 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfo, А если чуваки делают прикладной софт, который будут продавать в коробке, требующей базу? Морочиться с экспрессами, или заставлять покупать ещё и оракель? Не нормально. Это неуважение к клиенту. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 10:16 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
ОКТОГЕН, Вообще-то для коробки от Оракла скидки чуть-ли не 80 процентов от цены: я на семинаре от их слышал. Там все культурно с коробками. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 10:43 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
pkarklinРосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось? Пусть попробует indexed views в MS SQL Express Edition, вдруг понравится. :) Правда хинтик NOEXPAND приедтся в запросики добавлять. Нет, не нужно. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 11:33 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfoРосгоснанораспилтрестИли лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось? Сами спросили, сами ответили - всегда бы так. (с) Росгоснанораспилтрест Такой выбор снимет все технические причины выбора раз и на долго. Ну пока Оркал не начнгет отставть от кого-либо. Круто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =))) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 11:34 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
РосгоснанораспилтрестНет, не нужно. Что так?! ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 11:38 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
РосгоснанораспилтрестКруто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =))) Ну это Вам, наверное, на форум БелазКлуб. Возможно, там подскажут как попасть на тест драйв Белазов. Сам то я Белазами не интересуюсь. Меня больше Бэхи там всякие занимают. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 11:50 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfo, то есть, вас устраивает, что ваша репутация зависит от политики кого-то там? Всё же считаю, что заставлять клиента покупать сторонний софт это некорректно и непрофессионально. Скрытые платежи из той же серии. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 11:51 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
ОКТОГЕНvadiminfo, то есть, вас устраивает, что ваша репутация зависит от политики кого-то там? Всё же считаю, что заставлять клиента покупать сторонний софт это некорректно и непрофессионально. Скрытые платежи из той же серии. Ну я не сторонник КПРФ, чтобы чрезмерно отрицательно относиться к репутации людей юзающих какие-то буржуазные идеи при торговле. Скрытые платежи есть читобы Вы не покуапали. Или компы тоже самому производить, чтобы не заставлять покупать посторонний хард? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:24 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
pkarklinРосгоснанораспилтрестНет, не нужно. Что так?! Ну, во-первых: человек уже знает PostgreSQL. Во-вторых: PostgreSQL прекрасно справится с данной задачей. В-третьих: скорее всего, это WEB, а значит никакой венды там нет, и она там неприменима чуть более, чем совсем. В-четвёртых: зачем человеку лишние затраты, измеряющиеся тысячами, а в перспективе - десятками тысяч долларов? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:25 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfoРосгоснанораспилтрестКруто... Слуш, а дай БелАЗ... ПОкататься... Всегда мечтал покататься на БелАЗе... =))) Ну это Вам, наверное, на форум БелазКлуб. Возможно, там подскажут как попасть на тест драйв Белазов. Сам то я Белазами не интересуюсь. Меня больше Бэхи там всякие занимают. Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться... ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:26 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfo, зачем накручивать цену товара, если вам с этого ничего не перепадёт? Смысл какой? Упрощать сложно, а вот усложнять просто. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:28 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
РосгоснанораспилтрестНу, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться... А почему не так: Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БЕХа за батоном и пивом гонять. Но ея прокатиться не дал бы. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:34 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
ОКТОГЕНvadiminfo, зачем накручивать цену товара, если вам с этого ничего не перепадёт? Смысл какой? Упрощать сложно, а вот усложнять просто. Смысл великий есть: от снять для себя проблему выбора СУБД раз и на долго, до надежды найти нужну фичу в нужный момент. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:36 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfo, для того, чтоб были все фичи раз и надолго - вы ценник видели? Экспресс не пойдёт, ограничения имеются. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:39 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
ОКТОГЕН, на этот случай есть эдишен. Я ить упомянул там термин "технические", а не экономические. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:46 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
vadiminfoРосгоснанораспилтрестНу, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БелАЗ - за батонами и пивом гонять. Вот думал, мож дашь прокатиться... А почему не так: Ну, просто если ты ставишь Оракл на каждый хомяк из 5 страниц, то у тебя должен быть БЕХа за батоном и пивом гонять. Но ея прокатиться не дал бы. Ну, если ты ихний дистрибьютор, и имеешь гешефт с каждой копии - тогда да, сорри. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:52 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
РосгоснанораспилтрестНу, если ты ихний дистрибьютор, и имеешь гешефт с каждой копии - тогда да, сорри. Скорей всего, там хде ихнее юзают не тока ихние дистрибьюторы работают. Возможно, это не ихний подходит тока дистрибьторам. Кто знает? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 12:58 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
z1xelПриветствую! делать по ней агрегативные выборки. Данные предполагается хранить в агрегированом виде, за интервалы времени, представляют из себя таймстемп, гео и еще какой-то набор признаков(несколько отдельныйх полей). Вопросы: Как организовать данные? OLAP z1xelКакую СУБД выбрать? Любую с поддержкой ОЛАП из коробки. Вроде даже в экселе можно кубы рисовать. z1xelНа данный момент смотрю в сторону PostgreSQL(в силу того, что есть опыт, но больше со сложными структурами, нежели с большими объемами), данные думаю разбивать на помесячные таблички. Советы? Критика? Опыт? Буду весьма признателен... =) Найдите спеца по ОЛАП , какую он обоснует, ту и берите . ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 13:27 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
ОКТОГЕНесли чуваки делают прикладной софт, который будут продавать в коробке, требующей базу? Морочиться с экспрессами, или заставлять покупать ещё и оракель? Не нормально. Это неуважение к клиенту. Для прикладной коробки неуважением является использование СУБД, не той, которая уже есть у покупателя. Разводить зоопарк в чужой серверной это нехорошо и чаще всего бесперспективно. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 13:46 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, тоже да. Для каждой СУБД должно быть своё решение и реализация. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 13:59 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
Ого дискуссия развернулась.... Всем спасибо за советы. :D По существу вопроса: Если уже есть опыт работы с PostgreSQL и все устраивает, то нужно очень постараться чтобы склонить вас к другой СУБД. Меня в данном случае больше интересует эффективность, нежели собственные привычки =) Для использования Оракла не вижу объктивных причин, от СУБД нужно всего ничего: 1. хранение данных в виде дерева (будет замечательно, если Postgres такое сумеет, например PK по всем полям и хранить вместо таблички только ее индекс) 2. дополнительные индексы (без лишнего гемороя) 2. where <=> , group by OLAP Опять же, излишне. Смотрел на всякого рода NoSQL, вполне терпимо подходящей показалась Cassandra , можно приготовить все необходимое, но ее приимущества проявятся при объемах на несколько порядков больше, а геморойность - сразу. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 15:46 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
z1xel Меня в данном случае больше интересует эффективность, нежели собственные привычки =) Речь не о привычках, а об опыте работы. z1xel хранение данных в виде дерева ВСЕ РСУБД хранят данные в виде таблиц. Дерево оно только для клиента z1xel хранить вместо таблички только ее индексIOT от Oracle, кластеризованный индекс в MSSQL, это? И чтобы два раза не вставать, ответьте 1 Платформа 2 Бюджет 3 внутренняя разработка или коробочный продукт на продажу. Очень знаете ли влияют на выбор ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 16:05 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
кластеризованный индекс в MSSQL, это? угу, я вроде у Postgres про что-то такое читал, но возможно ошибаюсь 1 Платформа - Linux 2 Бюджет - маленький, стоимость лицензий изначально не закладывалась 3 внутренняя разработка или коробочный продукт на продажу - внутренняя разработка ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 16:52 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
z1xel 1 Платформа - Linux 2 Бюджет - маленький, стоимость лицензий изначально не закладывалась 3 внутренняя разработка или коробочный продукт на продажу - внутренняя разработка PG, почти без вариантов авторя вроде у Postgres про что-то такое читал, но возможно ошибаюсьЗдесь это оффтопик. Спрашивайте в соседнем z1xel > OLAP Опять же, излишне. Не соглашусь. По вашему описанию задача 100% для OLAP, а значит в ней (в OLAP) уже протоптаны дорожки, ограждены грабли и разработаны best practice. То есть эта тема гораздо больше чем Apache Cassandra заслуживает изучения. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.12.2011, 19:00 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
z1xelСмотрел на всякого рода NoSQL, вполне терпимо подходящей показалась Cassandra , можно приготовить все необходимое, но ее приимущества проявятся при объемах на несколько порядков больше, а геморойность - сразу. И чего именно вам в Cassandra так понравилось и чего так отпугнуло? В PG только что появился IOS, не знаю выпустили с ним уже рилиз или нет. Делаете покрывающий индекс и использоваться будет только он. Только при DML дублироваться данные в таблице и индексе будут. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2011, 01:06 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
Росгоснанораспилтреств PG есть мат вью?SERG1257пропущено... Какие триггеры? Это чистая read-only система (по описанию). Расскажите как вы собираетесь делать мат вью на PG? Да хоть на тех же триггерах . Там кода 10 строчек максимум. Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось? - какие ещё нах триггеры? - ладно, ну расскажите как без них - да хоть на тех же триггерах ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2011, 01:08 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
в PG есть мат вью?Росгоснанораспилтрестпропущено... Да хоть на тех же триггерах . Там кода 10 строчек максимум. Или лучше чуваку Оракл сразу впарить, да сразу Enterprise Edition, чтоб мало не казалось? - какие ещё нах триггеры? - ладно, ну расскажите как без них - да хоть на тех же триггерах А чё, в этих ваших ораклах триггеры В СВОЕЙ ОСНОВЕ таки имеют шота другое? Да эти ваши матвью - просто муркетинговый зойоп, не более. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2011, 02:21 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
Матвьюв на триггерах? Маркетиговый ход? А кондей -а авто тоже маркетиговый ход? Его можно на открытых окнах? Не знау уж что и за марка такая авто? Ну так некоторые и всю СУБД налабали. И не на С а на Дельфях. Я же говорил, что надо было брать Оракл и не париться. Не послушали? Много лишней кодоэнергии? Ну валяйте теперь на триггерах. Журналы изменений. Потом процедуры, которые будут читать эти изменеия по расписанию. Там еще нуно как-то еще предотвращать потерю актуальности (часть изменеий не потеряно). Ить аналитика преполагает риски, что матвьюв могут понадобиться. Там и до репликации Ведущий-ведомый уже буит рукой подать. Успехов. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2011, 08:35 |
|
Выбор СУБД и архитектуры
|
|||
---|---|---|---|
#18+
Люди добрые, поделитесь знаниями - а как прикидывать на пальцах объемы? задача из старт-поста - она гарантированно не влезает в оракл-экспресс с его авторограничение размера пользовательских данных до 4GB (объем данных, занимаемый системными таблицами сюда не входит) даже если часть данных (старая) - лежит в скомпрессированных таблспейсах? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.12.2011, 09:41 |
|
|
start [/forum/topic.php?all=1&fid=35&tid=1552610]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
43ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
65ms |
get tp. blocked users: |
2ms |
others: | 244ms |
total: | 393ms |
0 / 0 |