|
Действия ...
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
20.09.2006, 16:15
|
|||
|---|---|---|---|
|
|||
Что делать с устаревающими данными |
|||
|
#18+
Уверен, что многие из вас работали с большими системами хранения данных, где табличка с 2-3 миллионами записей не такая уж и большая. Меня интересует вот что. Допустим у нас есть некая финансовая система. В одной из таблиц (пусть ее имя будет pays) записываются финансовые транзакции, в другой хранятся юзеры (users) и т.д. С течением времени в таблице pays будут накапливаться данные, она будет распухать. С одной стороны данные за прошлый-позапрошлый год нам не сильно нужны, но и удалить их мы не имеем права иначе съедет статистика. Как вы уважаемые эксперты поступаете в данном случае? Как вы решаете проблему таблиц накапливающих данные? А то получается как в том бородатом анекдоте про чемодан - жить мешает, а выкинуть нельзя. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.09.2006, 16:35
|
|||
|---|---|---|---|
Что делать с устаревающими данными |
|||
|
#18+
А СУБД то какая??? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.09.2006, 16:38
|
|||
|---|---|---|---|
|
|||
Что делать с устаревающими данными |
|||
|
#18+
Разве это принципиально? Вопрос у меня сугубо теоритический. БД используемые в проекте в зависимости от версии ПО: MySQL, PostgreSQL, Oracle ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.09.2006, 16:49
|
|||
|---|---|---|---|
Что делать с устаревающими данными |
|||
|
#18+
MySQL - вторая таблица с историческим данными PostgreSQL - вторая таблица с историческим данными Oracle - партиционирование основной таблицы по времени ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.09.2006, 17:00
|
|||
|---|---|---|---|
|
|||
Что делать с устаревающими данными |
|||
|
#18+
Правильно ли я понимаю: на этапе разработки закладываем две таблицы - одна текущая, другая архивная. Скидывать туда допустим раз в год данные за позапрошлый год. Систему статистики научить использовать обе таблицы для построения отчетов. И жить спокойно не переживая за объем таблиц и скорость выборки. Я правильно понял Вашу мысль? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.09.2006, 17:14
|
|||
|---|---|---|---|
Что делать с устаревающими данными |
|||
|
#18+
в oracle в принципе можно и не делать 2 таблицы.У нас она партиционирована по времени. Насчет "не переживая" - смотря в какой момент времени.Если отчетность будете использовать для online "не переживайте", а если по двум таблицам сразу - то все равно одно и тоже время уйдет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.09.2006, 06:54
|
|||
|---|---|---|---|
Что делать с устаревающими данными |
|||
|
#18+
2 RussianSpy Если вам в любой момент могут понадобиться все данные, то придется их хранить постоянно. Если же из предыдущих лет оперативно нужны только некоторые агрегированные значения, то одно их простых решений: 1. Заводите структуры даных под нужные агрегатные значения (суммы, количества...) по годам. 2. Ежегодно добавляете агрегатные данные по прошедшему году, а сами данные вытесняете в другую базу (лучше всего как полный снимок текущей базы). Естественно, все отчеты должны пользоваться агрегатными данными за прошедшие годы и оперативными за текущий. Если для разбора полетов понадобятся точные данные за предудущие годы (считает это исключительной, но возможной ситуацией), то по заранее продуманному регламенту накатываете снимок за нужный год. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=32&mobile=1&tid=1545029]: |
0ms |
get settings: |
8ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
77ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
42ms |
get tp. blocked users: |
1ms |
| others: | 218ms |
| total: | 383ms |
| 0 / 0 |
