powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Структура архивов
14 сообщений из 14, страница 1 из 1
Структура архивов
    #32152685
Дмитрий Шл
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Поделитесь, как у кого организованы архивы.
а то уже полгода учет ведется все ведется в одних и тех же таблицах.
И пора бы их сбрасывать в архивы, но не могу определиться в структуре.
...
Рейтинг: 0 / 0
Структура архивов
    #32152742
Репликант
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Дмитрий Шл:
Поделитесь, как у кого организованы архивы. а то уже полгода учет ведется все ведется в одних и тех же таблицах.
И пора бы их сбрасывать в архивы, но не могу определиться в структуре.


Решение в целом, т.е структура или организация самих архивов и модель данных для сопроводительной информации зависят от того ЧТО ТРЕБУЕТСЯ от подсистемы архивации вашей ИС/приложения. Кроме того возможные варианты таких подсистем:

а) Архивируется только БД ИС.
Например, у ИС есть администраторская функция (автоматическая или ручная) архивации БД,
содержащих пользовательские и системные данные

б) Архивируются только документы. БД ИС также хранит информацию (журнал) обо всех изменениях.
Например, у ИС для документооборота организации есть функция отслеживания всех изменений
и архивации документов. Под "документом" имеются в виду любые файлы, например, Ворда, Экселя
с к-рыми работают пользователи и к-рые хранятся на неком централизованном ресурсе или
в БД ИС(возможен и такой вариант)

в) Архивируется вся информация, т.е БД ИС и документы,
т.е. объединение систем а) и б)......
...
Рейтинг: 0 / 0
Структура архивов
    #32152759
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Репликант. Не. Я так думаю, что речь идет о выносе из таблиц данных более ранних чем некоторый определенный период.
Я использую туже стрктуру, что и актуальные таблицы, только без индексов.
...
Рейтинг: 0 / 0
Структура архивов
    #32152857
Фотография wara
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня, как и у CAT 2 архивная информация хранится в структурах, аналогичных основной (и у всех людей я видел по сути то же самое). Но хорошо и правильно ли это - вот в чем вопрос. Если данные уже "исторические", а не "оперативные", может быть есть смысл хранить их в другом, возможно, нереляционном виде (к-л OLAP-кубы или еще как либо), чтобы можно было оттуда извлекать информацию более удобными методами, (типа рассечь многомерный куб...) Может люди, которые занимаются хранилищами данных нам чего-нибудь нового присоветуют?
...
Рейтинг: 0 / 0
Структура архивов
    #32152895
Репликант
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Cat2: \r
Репликант. Не. Я так думаю, что речь идет о выносе из таблиц данных более ранних чем некоторый определенный период. \r
\r
Понятно, т.е речь идет о хранении исторических данных что-то наподобии этого: Ведение истории для данных.....\r
\r
Я использую туже стрктуру, что и актуальные таблицы, только без индексов. \r
\r
Вот индекс пожалели, нууу... :) Т.е у вас к истории редко запросы случаются или этих данных просто немного и сканирование работает приемлимо?
...
Рейтинг: 0 / 0
Структура архивов
    #32152996
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Репликант
>Вот индекс пожалели, нууу... :) Т.е у вас к истории редко запросы случаются или этих данных просто немного и сканирование работает приемлимо?
Если у вас много данных и к ним часто идут запросы - зачем эти данные сбрасывать в архив? Пущай лежат где лежали.
...
Рейтинг: 0 / 0
Структура архивов
    #32153020
Фотография akuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И пора бы их сбрасывать в архивы, но не могу определиться в структуре.

ИМХО, если вы не можете определиться в структуре архива, то видимо плохо представляете зачем он вам нужен.

Если архивированием вы просто хотите разгрузить оперативную базу от ненужных, неоперативных данных, то используйте другую БД с аналогичной структурой.

Хранилище данных это отдельная задача, никак не связанная с архивированием.

Если учёт полгода уже ведётся без сохранения истории, то история вам не нужна.

Если вам необходимо анализировать данные накопленные в архиве, нужно перегонять данные из архива в другую специально организованную структуру, например OLAP. Но необходимость ведения архива это не снимает, потому как с течением времени возможно потребуется проводить анализ по срезам, которые не были заложены в OLAP или потребуется реструктуризация кубов.

В любом случае абсолютно никакие данные не должны теряться при архивировании.
...
Рейтинг: 0 / 0
Структура архивов
    #32153021
Фотография akuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И пора бы их сбрасывать в архивы, но не могу определиться в структуре.

ИМХО, если вы не можете определиться в структуре архива, то видимо плохо представляете зачем он вам нужен.

Если архивированием вы просто хотите разгрузить оперативную базу от ненужных, неоперативных данных, то используйте другую БД с аналогичной структурой.

Хранилище данных это отдельная задача, никак не связанная с архивированием.

Если учёт полгода уже ведётся без сохранения истории, то история вам не нужна.

Если вам необходимо анализировать данные накопленные в архиве, нужно перегонять данные из архива в другую специально организованную структуру, например OLAP. Но необходимость ведения архива это не снимает, потому как с течением времени возможно потребуется проводить анализ по срезам, которые не были заложены в OLAP или потребуется реструктуризация кубов.

В любом случае абсолютно никакие данные не должны теряться при архивировании.
...
Рейтинг: 0 / 0
Структура архивов
    #32153022
Фотография akuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И пора бы их сбрасывать в архивы, но не могу определиться в структуре.

ИМХО, если вы не можете определиться в структуре архива, то видимо плохо представляете зачем он вам нужен.

Если архивированием вы просто хотите разгрузить оперативную базу от ненужных, неоперативных данных, то используйте другую БД с аналогичной структурой.

Хранилище данных это отдельная задача, никак не связанная с архивированием.

Если учёт полгода уже ведётся без сохранения истории, то история вам не нужна.

Если вам необходимо анализировать данные накопленные в архиве, нужно перегонять данные из архива в другую специально организованную структуру, например OLAP. Но необходимость ведения архива это не снимает, потому как с течением времени возможно потребуется проводить анализ по срезам, которые не были заложены в OLAP или потребуется реструктуризация кубов.

В любом случае абсолютно никакие данные не должны теряться при архивировании.
...
Рейтинг: 0 / 0
Структура архивов
    #32153249
Репликант
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Серега:
Если у вас много данных и к ним часто идут запросы - зачем эти данные сбрасывать в архив? Пущай лежат где лежали.

Часто, т.е редко ведь тоже бывает разное: 5 запросов - тут индексы наверное и не нужны, или 50 запросов ежедневно - это уже величина, к-рая своими сканированиями может сказаться на производительности, попав например на момент пиковой нагрузки.
Далее: если уж данные попали в категорию исторических, то наверное им не место в текущих рабочих таблицах. Какие тут могут быть аргументы "за":
=> исторические значит к ним возможно гораздо меньше запросов (ту же статистику/индексы легче обновлять
или тот же полный бэкап быстрее создавать для текущих данных) или/и запросы другого вида (например, ближе
к "OLAP");
=> формат документов может измениться или еще что-то, что повлечет изменение схемы (т.е переделка БД
уже легче пройдет)
...
Рейтинг: 0 / 0
Структура архивов
    #32153869
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Архивы, как это делается у меня.

У меня в основном базы по учету всякой фигни. Обычно требуется информация за текущий год. В основном за текущий-предыдущий месяц. Значительно реже нужно что-то сравнивать с предыдущим годом. На глубину более двух лет запросов практически нет. Поэтому данные старше трех (на всякий случай) лет сбрасываются в аналогичную таблицу (первичный ключ в ней все же присутсвует). Эти данные используются крайне редко, и в основном для восстановления какого-то документа. Данные глубиной более 5 лет не запрашивались ни разу. Это я точно знаю, потому как они у меня лежать в DBF - до скуля у меня были проги на клипере.
...
Рейтинг: 0 / 0
Структура архивов
    #32154023
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Репликант
>это уже величина, к-рая своими сканированиями может сказаться на производительности, попав например на момент пиковой нагрузки.

Тут важно еще где эти архивы лежат. Если в той же базе, то для некоторых СУБД, все равно будет не очень хорошо. Например если в оракле начать здоровые запросы на "исторических" данных, то они все равно похерят часть буферного кеша и заставят работать диск. Возврат к "оперативным" запросам повторит эту ситуацию.
К тому же моя реплика не относилась к индексам (только к частоте обращений). Если он нужны - то они нужны - и на них грех экономить.

Я в общем то не против архивирования информации. Я даже очень За. Просто, ИМХО, тут надо тщательно продумать - что бросать в архив. Если данные 50 раз в день используются - то могет быть рано их архивировать? Если 5 раз в месяц - то пора. Цифры естественно с потолка и определяются эмпирически.
...
Рейтинг: 0 / 0
Структура архивов
    #32154719
Репликант
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...Обычно требуется информация за текущий год. В основном за текущий-предыдущий месяц. Значительно реже нужно что-то сравнивать с предыдущим годом...\r
...Эти данные используются крайне редко, и в основном для восстановления какого-то документа...
\r
\r
Правильно! определять модель архивов должны так же (помимо разработчиков) и те, кто ею будет пользоваться, т.е бизнес-пользователи. Возможные варианты: либо они сами должны рассказать с данными какой свежести и как часто они хотят работать либо на пилотной системе надо какую-то статистику собирать по "свежести" запросов и уже на основе нее выбирать структуру архивов\r
\r
2 Серега: \r
Тут важно еще где эти архивы лежат. Если в той же базе, то для некоторых СУБД, все равно будет не очень хорошо.... \r
\r
Ясно, что задачу надо рассматривать в том числе и со стороны конкретной СУБД, архивы на Oracle - это одно, на IB или Access mdb - совсем другое\r
\r
...Просто, ИМХО, тут надо тщательно продумать - что бросать в архив. Если данные 50 раз в день используются - то могет быть рано их архивировать? Если 5 раз в месяц - то пора. Цифры естественно с потолка и определяются эмпирически. \r
\r
Лучше тщательно, но без эмпирически :) Эти цифры говорят о частоте (т.е важны т.к они определяют структуру, расположение *уже архивных таблиц* и т.д), но не о возможности обращения (т.е хоть 50 или 5, но все скорость тут уже неважна, т.к эти данные навсегда быльем поросли) к архивным данным. Например, у "Cat2": "На глубину более двух лет запросов практически нет. Поэтому данные старше трех (на всякий случай) лет сбрасываются в аналогичную таблицу..." \r
Интересно, а если возможен некий привилегированный пользователь (гендиректор или главбух), к-рый скажет что ему любые данные нужны почти мгновенно хоть они за вчерашний день, хоть за позапрошлый год и запросы у него еще те с кросс джойнами. Как тут быть? :)
...
Рейтинг: 0 / 0
Структура архивов
    #32154784
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Вообще-то для меня все юзеры равны. И приоритеты я сам выставляю. Если предприятию грозит штраф за не предоставление инфы, то я буду решать эту задачу, а все остальные подождут. Еще ни одно предприятие не рухнуло от того, что его директор получил отчет о работе за позапрошлый год на три часа позже.

Ни один, даже сверх привелигированый пользователь понятия не имеет ЧТО я могу выкопать из баз. Вплоть до подозрений на взятки и хищения. Если бы понимали, то давали бы соответсвующие указания. Да и смотрят Генеральные и Министры больше на перспективу, и им пофиг, по какой цене покупался килограмм гвоздей в 1995 году. И не совсем они дураки. Понимают, что если им нужна нестандартная информация, то для ее подготовки нужно время. И я тоже не дурак. У меня сделаны почти все отчеты, которые только могут возникнуть в воспаленном мозгу. Хотите знать, сколько болтов М22 ушло на ремонт изделия 0001 в январе прошлого года - пожалуйста. Сколько пар обуви сносил слесарь Ничипоренко - нет проблем.
...
Рейтинг: 0 / 0
14 сообщений из 14, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Структура архивов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]