|
Структура архивов
|
|||
---|---|---|---|
#18+
Поделитесь, как у кого организованы архивы. а то уже полгода учет ведется все ведется в одних и тех же таблицах. И пора бы их сбрасывать в архивы, но не могу определиться в структуре. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.05.2003, 13:49 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
2 Дмитрий Шл: Поделитесь, как у кого организованы архивы. а то уже полгода учет ведется все ведется в одних и тех же таблицах. И пора бы их сбрасывать в архивы, но не могу определиться в структуре. Решение в целом, т.е структура или организация самих архивов и модель данных для сопроводительной информации зависят от того ЧТО ТРЕБУЕТСЯ от подсистемы архивации вашей ИС/приложения. Кроме того возможные варианты таких подсистем: а) Архивируется только БД ИС. Например, у ИС есть администраторская функция (автоматическая или ручная) архивации БД, содержащих пользовательские и системные данные б) Архивируются только документы. БД ИС также хранит информацию (журнал) обо всех изменениях. Например, у ИС для документооборота организации есть функция отслеживания всех изменений и архивации документов. Под "документом" имеются в виду любые файлы, например, Ворда, Экселя с к-рыми работают пользователи и к-рые хранятся на неком централизованном ресурсе или в БД ИС(возможен и такой вариант) в) Архивируется вся информация, т.е БД ИС и документы, т.е. объединение систем а) и б)...... ... |
|||
:
Нравится:
Не нравится:
|
|||
03.05.2003, 21:33 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
Репликант. Не. Я так думаю, что речь идет о выносе из таблиц данных более ранних чем некоторый определенный период. Я использую туже стрктуру, что и актуальные таблицы, только без индексов. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.05.2003, 22:17 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
У меня, как и у CAT 2 архивная информация хранится в структурах, аналогичных основной (и у всех людей я видел по сути то же самое). Но хорошо и правильно ли это - вот в чем вопрос. Если данные уже "исторические", а не "оперативные", может быть есть смысл хранить их в другом, возможно, нереляционном виде (к-л OLAP-кубы или еще как либо), чтобы можно было оттуда извлекать информацию более удобными методами, (типа рассечь многомерный куб...) Может люди, которые занимаются хранилищами данных нам чего-нибудь нового присоветуют? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.05.2003, 15:12 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
2 Cat2: \r Репликант. Не. Я так думаю, что речь идет о выносе из таблиц данных более ранних чем некоторый определенный период. \r \r Понятно, т.е речь идет о хранении исторических данных что-то наподобии этого: Ведение истории для данных.....\r \r Я использую туже стрктуру, что и актуальные таблицы, только без индексов. \r \r Вот индекс пожалели, нууу... :) Т.е у вас к истории редко запросы случаются или этих данных просто немного и сканирование работает приемлимо? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.05.2003, 17:59 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
2Репликант >Вот индекс пожалели, нууу... :) Т.е у вас к истории редко запросы случаются или этих данных просто немного и сканирование работает приемлимо? Если у вас много данных и к ним часто идут запросы - зачем эти данные сбрасывать в архив? Пущай лежат где лежали. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2003, 09:39 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
И пора бы их сбрасывать в архивы, но не могу определиться в структуре. ИМХО, если вы не можете определиться в структуре архива, то видимо плохо представляете зачем он вам нужен. Если архивированием вы просто хотите разгрузить оперативную базу от ненужных, неоперативных данных, то используйте другую БД с аналогичной структурой. Хранилище данных это отдельная задача, никак не связанная с архивированием. Если учёт полгода уже ведётся без сохранения истории, то история вам не нужна. Если вам необходимо анализировать данные накопленные в архиве, нужно перегонять данные из архива в другую специально организованную структуру, например OLAP. Но необходимость ведения архива это не снимает, потому как с течением времени возможно потребуется проводить анализ по срезам, которые не были заложены в OLAP или потребуется реструктуризация кубов. В любом случае абсолютно никакие данные не должны теряться при архивировании. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2003, 10:05 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
И пора бы их сбрасывать в архивы, но не могу определиться в структуре. ИМХО, если вы не можете определиться в структуре архива, то видимо плохо представляете зачем он вам нужен. Если архивированием вы просто хотите разгрузить оперативную базу от ненужных, неоперативных данных, то используйте другую БД с аналогичной структурой. Хранилище данных это отдельная задача, никак не связанная с архивированием. Если учёт полгода уже ведётся без сохранения истории, то история вам не нужна. Если вам необходимо анализировать данные накопленные в архиве, нужно перегонять данные из архива в другую специально организованную структуру, например OLAP. Но необходимость ведения архива это не снимает, потому как с течением времени возможно потребуется проводить анализ по срезам, которые не были заложены в OLAP или потребуется реструктуризация кубов. В любом случае абсолютно никакие данные не должны теряться при архивировании. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2003, 10:05 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
И пора бы их сбрасывать в архивы, но не могу определиться в структуре. ИМХО, если вы не можете определиться в структуре архива, то видимо плохо представляете зачем он вам нужен. Если архивированием вы просто хотите разгрузить оперативную базу от ненужных, неоперативных данных, то используйте другую БД с аналогичной структурой. Хранилище данных это отдельная задача, никак не связанная с архивированием. Если учёт полгода уже ведётся без сохранения истории, то история вам не нужна. Если вам необходимо анализировать данные накопленные в архиве, нужно перегонять данные из архива в другую специально организованную структуру, например OLAP. Но необходимость ведения архива это не снимает, потому как с течением времени возможно потребуется проводить анализ по срезам, которые не были заложены в OLAP или потребуется реструктуризация кубов. В любом случае абсолютно никакие данные не должны теряться при архивировании. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2003, 10:05 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
2 Серега: Если у вас много данных и к ним часто идут запросы - зачем эти данные сбрасывать в архив? Пущай лежат где лежали. Часто, т.е редко ведь тоже бывает разное: 5 запросов - тут индексы наверное и не нужны, или 50 запросов ежедневно - это уже величина, к-рая своими сканированиями может сказаться на производительности, попав например на момент пиковой нагрузки. Далее: если уж данные попали в категорию исторических, то наверное им не место в текущих рабочих таблицах. Какие тут могут быть аргументы "за": => исторические значит к ним возможно гораздо меньше запросов (ту же статистику/индексы легче обновлять или тот же полный бэкап быстрее создавать для текущих данных) или/и запросы другого вида (например, ближе к "OLAP"); => формат документов может измениться или еще что-то, что повлечет изменение схемы (т.е переделка БД уже легче пройдет) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2003, 13:15 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
Архивы, как это делается у меня. У меня в основном базы по учету всякой фигни. Обычно требуется информация за текущий год. В основном за текущий-предыдущий месяц. Значительно реже нужно что-то сравнивать с предыдущим годом. На глубину более двух лет запросов практически нет. Поэтому данные старше трех (на всякий случай) лет сбрасываются в аналогичную таблицу (первичный ключ в ней все же присутсвует). Эти данные используются крайне редко, и в основном для восстановления какого-то документа. Данные глубиной более 5 лет не запрашивались ни разу. Это я точно знаю, потому как они у меня лежать в DBF - до скуля у меня были проги на клипере. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2003, 23:36 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
2Репликант >это уже величина, к-рая своими сканированиями может сказаться на производительности, попав например на момент пиковой нагрузки. Тут важно еще где эти архивы лежат. Если в той же базе, то для некоторых СУБД, все равно будет не очень хорошо. Например если в оракле начать здоровые запросы на "исторических" данных, то они все равно похерят часть буферного кеша и заставят работать диск. Возврат к "оперативным" запросам повторит эту ситуацию. К тому же моя реплика не относилась к индексам (только к частоте обращений). Если он нужны - то они нужны - и на них грех экономить. Я в общем то не против архивирования информации. Я даже очень За. Просто, ИМХО, тут надо тщательно продумать - что бросать в архив. Если данные 50 раз в день используются - то могет быть рано их архивировать? Если 5 раз в месяц - то пора. Цифры естественно с потолка и определяются эмпирически. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.05.2003, 10:38 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
...Обычно требуется информация за текущий год. В основном за текущий-предыдущий месяц. Значительно реже нужно что-то сравнивать с предыдущим годом...\r ...Эти данные используются крайне редко, и в основном для восстановления какого-то документа... \r \r Правильно! определять модель архивов должны так же (помимо разработчиков) и те, кто ею будет пользоваться, т.е бизнес-пользователи. Возможные варианты: либо они сами должны рассказать с данными какой свежести и как часто они хотят работать либо на пилотной системе надо какую-то статистику собирать по "свежести" запросов и уже на основе нее выбирать структуру архивов\r \r 2 Серега: \r Тут важно еще где эти архивы лежат. Если в той же базе, то для некоторых СУБД, все равно будет не очень хорошо.... \r \r Ясно, что задачу надо рассматривать в том числе и со стороны конкретной СУБД, архивы на Oracle - это одно, на IB или Access mdb - совсем другое\r \r ...Просто, ИМХО, тут надо тщательно продумать - что бросать в архив. Если данные 50 раз в день используются - то могет быть рано их архивировать? Если 5 раз в месяц - то пора. Цифры естественно с потолка и определяются эмпирически. \r \r Лучше тщательно, но без эмпирически :) Эти цифры говорят о частоте (т.е важны т.к они определяют структуру, расположение *уже архивных таблиц* и т.д), но не о возможности обращения (т.е хоть 50 или 5, но все скорость тут уже неважна, т.к эти данные навсегда быльем поросли) к архивным данным. Например, у "Cat2": "На глубину более двух лет запросов практически нет. Поэтому данные старше трех (на всякий случай) лет сбрасываются в аналогичную таблицу..." \r Интересно, а если возможен некий привилегированный пользователь (гендиректор или главбух), к-рый скажет что ему любые данные нужны почти мгновенно хоть они за вчерашний день, хоть за позапрошлый год и запросы у него еще те с кросс джойнами. Как тут быть? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.05.2003, 19:08 |
|
Структура архивов
|
|||
---|---|---|---|
#18+
Вообще-то для меня все юзеры равны. И приоритеты я сам выставляю. Если предприятию грозит штраф за не предоставление инфы, то я буду решать эту задачу, а все остальные подождут. Еще ни одно предприятие не рухнуло от того, что его директор получил отчет о работе за позапрошлый год на три часа позже. Ни один, даже сверх привелигированый пользователь понятия не имеет ЧТО я могу выкопать из баз. Вплоть до подозрений на взятки и хищения. Если бы понимали, то давали бы соответсвующие указания. Да и смотрят Генеральные и Министры больше на перспективу, и им пофиг, по какой цене покупался килограмм гвоздей в 1995 году. И не совсем они дураки. Понимают, что если им нужна нестандартная информация, то для ее подготовки нужно время. И я тоже не дурак. У меня сделаны почти все отчеты, которые только могут возникнуть в воспаленном мозгу. Хотите знать, сколько болтов М22 ушло на ремонт изделия 0001 в январе прошлого года - пожалуйста. Сколько пар обуви сносил слесарь Ничипоренко - нет проблем. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2003, 00:06 |
|
|
start [/forum/topic.php?fid=32&fpage=181&tid=1546981]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
30ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
49ms |
get tp. blocked users: |
2ms |
others: | 256ms |
total: | 382ms |
0 / 0 |