|
Архивные данные
|
|||
---|---|---|---|
#18+
В каждой более-менее стабильной компании есть БД, в которых накапливаются данные: проводки, платежки и прочий документооборот , валяющийся там с начала этой самой БД (или всей ИТ-системы в целом). Например, у меня еще клипперные дбф-ки валяются с 1990-ых годов. Какие глобальные принципы работы с такими данными? Хранить "всё и так, как оно тогда работало" не сильно получается - например, попробуйте щаз тот же клиппер запустить - нужна машина с XP и проц не самый быстрый. Даже ежели взять данные 2003 и 2015 в одной и той же БД - не факт, что каждая прога, работающая щаз с БД, корректно покажет данные 2003-ого года - вроде ж и справочники те же и по датам, а все равно система не стоит на месте - меняются расчеты и отчеты и т.д. Хранить не данные, а отчеты/ворды/эксели в каком-то универсальном виде? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 14:57 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
или в какой-то универсальный XML выгружать? Или всё-таки хранить оригинальные данные, но вместе в экзюками-длльками? Но тоже не факт, что они корректно заработают через 10 или даже 5 лет. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 14:59 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
данные официально хранятся три-пять лет по всем стандартам Но з/п - 45 лет или даже больше Основные фонды - тоже много лет. Недавно делали переоценку - по кап. строительству лопатили данные с 2000-ого примерно года (правда, данные ранее 2011-ого брались из экселя). Да и обычные проводки бухи хотят видеть с 2000-ого года или даже раньше (х.з. им зачем) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 17:20 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
andreymx, смотреть нужно на риски потери и затраты на доступ - в том числе временнЫе. Попробую в порядке от наиболее надежного к наиболее удобному с оглядкой на риск потери инструментов обработки 1. Супер Параноидальный: Хранение информации в формате, наиболее универсальном для обработки. Без инструментов их обработки (читай: для доступа к информации понадобятся усилия для извлечения и даже время на создание инструментов для извлечения). Да, XML - вариант, но не нужно на нем зацикливаться. Если данные операционно хранятся в РСУБД, достаточно выгрузки в csv и sql-схемы данных. К сожалению, этого недостаточно, нужно еще хранить описание этих данных: способ организации данных(для схемы SQL это могут быть комментарии и описания в ней) и форматов их хранения (что такое XML?). 2. Ленивый параноидальный: Если предполагается, что запросы к архивным данным будут типичные (т.е. если бы потребность получить эти данные возникла в текущий момент времени, то у нас уже есть инструменты их получения из операционных) то в архив могут уйти не только операционные данные, но и результаты их обработки (например, сформированные отчеты, выгруженные в том же формате, что и операционные). 3. Обычный параноик: сохранение в архив данных, дистрибутивов ПО со всеми инструкциями, и помещение на склад того аппаратного обеспечения, на котором это все работает. 4. Параноик без придури: он же сисадмин, видевший немного проблем в жизни. Это предыдыщий пункт без аппаратного обеспечения. Но этот параноик отслеживает риск того, что требуемое аппаратное обеспечение потихоньку выходит из использования (на предприятии или в мире). При повышении этого риска превращается в обычного параноика или затевает процедуру миграции: или инструментов обработки на более современные, или своего уровня паранойи до 2 или 1. 5. Паранойефил: полагается на тот факт, что прикладное ПО регулярно поддерживается, посему процедуры миграции ПО проходят регулярно, и данные (как операционные так и архивные) регулярно товарищами разработчиками тоже актуализируются (т.е. текущая версия ПО без проблем работает с данными 30-летней давности). П.С.: риск потери данных на носителе не рассматривался. Ну не интересны мне блюреи и микрофильмы. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 17:56 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
Офтоп: я начинаю догадываться, что не все люди пишут с ошибками, потому что они безграмотны или это их прикалывает... Иногда опечатываешься, а риск потери всего месседжа из-зиз-за попытки исправить опечатку такой, что проще нажать "Отправить"... Долбанный планшет... ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 18:10 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
АнатоЛой3. Обычный параноик: сохранение в архив данных, дистрибутивов ПО со всеми инструкциями, и помещение на склад того аппаратного обеспечения, на котором это все работает.да, этот вариант самый восстановибельный если есть гарантия, что оборудование, простояв на складе 5 лет, заведется снова. И если вдруг не окажется, что время лицензии закончилось (а ведь их дохрена - на БД, на операционку и т.д.) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 18:16 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
Andreymx, как я понимаю, ваш случай где-то между вариантами 4 и 5. Двигайтесь в любую сторону :). ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 18:16 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
АнатоЛой5. Паранойефил: полагается на тот факт, что прикладное ПО регулярно поддерживается, посему процедуры миграции ПО проходят регулярно, и данные (как операционные так и архивные) регулярно товарищами разработчиками тоже актуализируются (т.е. текущая версия ПО без проблем работает с данными 30-летней давности).ну вот такая ситуация: в меня в учете ОС в Оракле данные с 2003-ого года (в клиппере - с 1994) За эти годы добавилось три или пять справочников, по которым считаются данные и строятся отчеты (хотя, конечно, те расчеты запускать уже никто не будет - все движения и прочие сальды посчитаны растыканы по таблицам). После внедрения справочников никто в уже удаленные ОС коды этих справочников не проставлял - да кто их упомнит, что и когда списывали. Еснно, там Null'ы стоят. И вот я не уверен, что все отчёты нормально построятся по этим, уже удалённым, ОС. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 18:22 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
andreymxАнатоЛой3. Обычный параноик: сохранение в архив данных, дистрибутивов ПО со всеми инструкциями, и помещение на склад того аппаратного обеспечения, на котором это все работает.да, этот вариант самый восстановибельный если есть гарантия, что оборудование, простояв на складе 5 лет, заведется снова. И если вдруг не окажется, что время лицензии закончилось (а ведь их дохрена - на БД, на операционку и т.д.) Да, конечно . Я не касался рисков "порчи архива", об этом в конце и написал: потеря информации на носителе. Не завелся комп -вот вы ее и потеряли :). Лицензии - вопрос не столь острый, у него куча воркэраундов. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 18:25 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
andreymxАнатоЛой5. Паранойефил: полагается на тот факт, что прикладное ПО регулярно поддерживается, посему процедуры миграции ПО проходят регулярно, и данные (как операционные так и архивные) регулярно товарищами разработчиками тоже актуализируются (т.е. текущая версия ПО без проблем работает с данными 30-летней давности).ну вот такая ситуация: в меня в учете ОС в Оракле данные с 2003-ого года (в клиппере - с 1994) За эти годы добавилось три или пять справочников, по которым считаются данные и строятся отчеты (хотя, конечно, те расчеты запускать уже никто не будет - все движения и прочие сальды посчитаны растыканы по таблицам). После внедрения справочников никто в уже удаленные ОС коды этих справочников не проставлял - да кто их упомнит, что и когда списывали. Еснно, там Null'ы стоят. И вот я не уверен, что все отчёты нормально построятся по этим, уже удалённым, ОС. тьфу, что такое ОС вспомнил с третьего раза... :) Тема актуальности справочников и алгоритмов, учитывающих их актуальность... бездонна :). Правильно ли я понимаю, что у вас есть желание загрузить в оперативную БД два старых архива, но возникает вопрос корректности работы отчетов? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2015, 18:47 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
есть понятия OLAP \ OLTP если система проектируется новая ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2015, 10:57 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
andreymxсистема не стоит на месте - меняются расчеты и отчеты и т.д. вначале сделали ((счета-фаутуры)) все по правилам, но часто требовалось перепечатать счета прошлых периодов точно в первоначальном виде, поэтому денормализовали базу стали заносить все справочники и кодами и значением,все расчетные суммы в момент начального ввода ввода с запретом корректировки старых счетов если плательщик менял название --общие итоги по коду и текущему названию без пересчета сумм --итоги по каждому наименованию(иногда менялось и ИНН) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2015, 10:57 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
andreymx, тут 2 вопроса в одной теме: 1. Система меняется = делать по ТЗ с рефакторингом. Т.е. нужно полное покрытие тестами старых отчётов. 2. Отчёты всегда по новым данным или замороженным? Тут от бизнеса зависит. Если главбух Иванова уволилась, а отчёт был на неё, то либо замораживать все отчёты (править нельзя будет вчерашним числом). Либо при новом запуске буден новое ФИО. Либо вводить в модель БД период действия атрибутов. Что достаточно дорого. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2015, 11:03 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
Petro123andreymx, тут 2 вопроса в одной теме: 1. Система меняется = делать по ТЗ с рефакторингом. Т.е. нужно полное покрытие тестами старых отчётов. 2. Отчёты всегда по новым данным или замороженным? Тут от бизнеса зависит. Если главбух Иванова уволилась, а отчёт был на неё, то либо замораживать все отчёты (править нельзя будет вчерашним числом). Либо при новом запуске буден новое ФИО. Либо вводить в модель БД период действия атрибутов. Что достаточно дорого.я был уверен, что во всех системах у нас все атрибуты по датам - подписи, должности и т.д. Пока не пришел запрос на корректировку - подправить подписи в одной из систем. Поругался, написал телегу - но воз и ныне там. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2015, 13:07 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
andreymx, А ты сам пробовал так писать? join перестает работать. Если все поля с периодом действия. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2015, 14:01 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
Petro123andreymx, А ты сам пробовал так писать? join перестает работать. Если все поля с периодом действия.у меня всегда всё работает :)) Например, для подписей UDF используем. Но и джойн с датами тоже не проблема ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2015, 14:41 |
|
Архивные данные
|
|||
---|---|---|---|
#18+
Какие глобальные принципы работы с такими данными?Единого принципа нет и быть не может. Проинстальте пару старых машин, где все ваши старые БД могут быть актуализированы и штатно запущены. Готовность данных будет максимальной и при этом дешевой. Все будет предсказуемо и вполне надежно. Если время упущено (много баз, много данных, знаний о структуре софта не хватает, бардак старых периодов), то переход на некий "универсальный формат" весьма маловероятен. Раньше надо было думать. У нас боевая БД стоит на серваке с 2003г. Меняем только винты массива и кулеры. :) зы: пресловутый "технологический долг". :) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.03.2015, 10:41 |
|
|
start [/forum/topic.php?fid=33&msg=38891721&tid=1547505]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
157ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
2ms |
others: | 15ms |
total: | 273ms |
0 / 0 |