powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Архивные данные
17 сообщений из 17, страница 1 из 1
Архивные данные
    #38891329
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В каждой более-менее стабильной компании есть БД, в которых накапливаются данные: проводки, платежки и прочий документооборот , валяющийся там с начала этой самой БД (или всей ИТ-системы в целом).
Например, у меня еще клипперные дбф-ки валяются с 1990-ых годов.

Какие глобальные принципы работы с такими данными?
Хранить "всё и так, как оно тогда работало" не сильно получается - например, попробуйте щаз тот же клиппер запустить - нужна машина с XP и проц не самый быстрый.
Даже ежели взять данные 2003 и 2015 в одной и той же БД - не факт, что каждая прога, работающая щаз с БД, корректно покажет данные 2003-ого года - вроде ж и справочники те же и по датам, а все равно система не стоит на месте - меняются расчеты и отчеты и т.д.

Хранить не данные, а отчеты/ворды/эксели в каком-то универсальном виде?
...
Рейтинг: 0 / 0
Архивные данные
    #38891332
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
или в какой-то универсальный XML выгружать?

Или всё-таки хранить оригинальные данные, но вместе в экзюками-длльками? Но тоже не факт, что они корректно заработают через 10 или даже 5 лет.
...
Рейтинг: 0 / 0
Архивные данные
    #38891380
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
данные официально хранятся три-пять лет по всем стандартам

Но з/п - 45 лет или даже больше
Основные фонды - тоже много лет. Недавно делали переоценку - по кап. строительству лопатили данные с 2000-ого примерно года (правда, данные ранее 2011-ого брались из экселя).
Да и обычные проводки бухи хотят видеть с 2000-ого года или даже раньше (х.з. им зачем)
...
Рейтинг: 0 / 0
Архивные данные
    #38891395
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreymx, смотреть нужно на риски потери и затраты на доступ - в том числе временнЫе.
Попробую в порядке от наиболее надежного к наиболее удобному с оглядкой на риск потери инструментов обработки
1. Супер Параноидальный: Хранение информации в формате, наиболее универсальном для обработки.
Без инструментов их обработки (читай: для доступа к информации понадобятся усилия для извлечения и даже время на создание инструментов для извлечения).
Да, XML - вариант, но не нужно на нем зацикливаться. Если данные операционно хранятся в РСУБД, достаточно выгрузки в csv и sql-схемы данных.
К сожалению, этого недостаточно, нужно еще хранить описание этих данных: способ организации данных(для схемы SQL это могут быть комментарии и описания в ней) и форматов их хранения (что такое XML?).

2. Ленивый параноидальный: Если предполагается, что запросы к архивным данным будут типичные (т.е. если бы потребность получить эти данные возникла в текущий момент времени, то у нас уже есть инструменты их получения из операционных) то в архив могут уйти не только операционные данные, но и результаты их обработки (например, сформированные отчеты, выгруженные в том же формате, что и операционные).

3. Обычный параноик: сохранение в архив данных, дистрибутивов ПО со всеми инструкциями, и помещение на склад того аппаратного обеспечения, на котором это все работает.

4. Параноик без придури: он же сисадмин, видевший немного проблем в жизни. Это предыдыщий пункт без аппаратного обеспечения. Но этот параноик отслеживает риск того, что требуемое аппаратное обеспечение потихоньку выходит из использования (на предприятии или в мире). При повышении этого риска превращается в обычного параноика или затевает процедуру миграции: или инструментов обработки на более современные, или своего уровня паранойи до 2 или 1.

5. Паранойефил: полагается на тот факт, что прикладное ПО регулярно поддерживается, посему процедуры миграции ПО проходят регулярно, и данные (как операционные так и архивные) регулярно товарищами разработчиками тоже актуализируются (т.е. текущая версия ПО без проблем работает с данными 30-летней давности).

П.С.: риск потери данных на носителе не рассматривался. Ну не интересны мне блюреи и микрофильмы.
...
Рейтинг: 0 / 0
Архивные данные
    #38891400
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Офтоп: я начинаю догадываться, что не все люди пишут с ошибками, потому что они безграмотны или это их прикалывает... Иногда опечатываешься, а риск потери всего месседжа из-зиз-за попытки исправить опечатку такой, что проще нажать "Отправить"... Долбанный планшет...
...
Рейтинг: 0 / 0
Архивные данные
    #38891401
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой3. Обычный параноик: сохранение в архив данных, дистрибутивов ПО со всеми инструкциями, и помещение на склад того аппаратного обеспечения, на котором это все работает.да, этот вариант самый восстановибельный
если есть гарантия, что оборудование, простояв на складе 5 лет, заведется снова.
И если вдруг не окажется, что время лицензии закончилось (а ведь их дохрена - на БД, на операционку и т.д.)
...
Рейтинг: 0 / 0
Архивные данные
    #38891402
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andreymx, как я понимаю, ваш случай где-то между вариантами 4 и 5. Двигайтесь в любую сторону :).
...
Рейтинг: 0 / 0
Архивные данные
    #38891404
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой5. Паранойефил: полагается на тот факт, что прикладное ПО регулярно поддерживается, посему процедуры миграции ПО проходят регулярно, и данные (как операционные так и архивные) регулярно товарищами разработчиками тоже актуализируются (т.е. текущая версия ПО без проблем работает с данными 30-летней давности).ну вот такая ситуация:
в меня в учете ОС в Оракле данные с 2003-ого года (в клиппере - с 1994)
За эти годы добавилось три или пять справочников, по которым считаются данные и строятся отчеты (хотя, конечно, те расчеты запускать уже никто не будет - все движения и прочие сальды посчитаны растыканы по таблицам).
После внедрения справочников никто в уже удаленные ОС коды этих справочников не проставлял - да кто их упомнит, что и когда списывали. Еснно, там Null'ы стоят.
И вот я не уверен, что все отчёты нормально построятся по этим, уже удалённым, ОС.
...
Рейтинг: 0 / 0
Архивные данные
    #38891406
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreymxАнатоЛой3. Обычный параноик: сохранение в архив данных, дистрибутивов ПО со всеми инструкциями, и помещение на склад того аппаратного обеспечения, на котором это все работает.да, этот вариант самый восстановибельный
если есть гарантия, что оборудование, простояв на складе 5 лет, заведется снова.
И если вдруг не окажется, что время лицензии закончилось (а ведь их дохрена - на БД, на операционку и т.д.)


Да, конечно . Я не касался рисков "порчи архива", об этом в конце и написал: потеря информации на носителе. Не завелся комп -вот вы ее и потеряли :).
Лицензии - вопрос не столь острый, у него куча воркэраундов.
...
Рейтинг: 0 / 0
Архивные данные
    #38891417
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreymxАнатоЛой5. Паранойефил: полагается на тот факт, что прикладное ПО регулярно поддерживается, посему процедуры миграции ПО проходят регулярно, и данные (как операционные так и архивные) регулярно товарищами разработчиками тоже актуализируются (т.е. текущая версия ПО без проблем работает с данными 30-летней давности).ну вот такая ситуация:
в меня в учете ОС в Оракле данные с 2003-ого года (в клиппере - с 1994)
За эти годы добавилось три или пять справочников, по которым считаются данные и строятся отчеты (хотя, конечно, те расчеты запускать уже никто не будет - все движения и прочие сальды посчитаны растыканы по таблицам).
После внедрения справочников никто в уже удаленные ОС коды этих справочников не проставлял - да кто их упомнит, что и когда списывали. Еснно, там Null'ы стоят.
И вот я не уверен, что все отчёты нормально построятся по этим, уже удалённым, ОС.
тьфу, что такое ОС вспомнил с третьего раза... :)
Тема актуальности справочников и алгоритмов, учитывающих их актуальность... бездонна :).
Правильно ли я понимаю, что у вас есть желание загрузить в оперативную БД два старых архива, но возникает вопрос корректности работы отчетов?
...
Рейтинг: 0 / 0
Архивные данные
    #38891591
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
есть понятия OLAP \ OLTP если система проектируется новая
...
Рейтинг: 0 / 0
Архивные данные
    #38891592
Фотография ПЕНСИОНЕРКА
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreymxсистема не стоит на месте - меняются расчеты и отчеты и т.д.

вначале сделали ((счета-фаутуры)) все по правилам, но часто требовалось перепечатать счета прошлых периодов точно в первоначальном виде, поэтому денормализовали базу

стали заносить все справочники и кодами и значением,все расчетные суммы в момент начального ввода ввода
с запретом корректировки старых счетов

если плательщик менял название
--общие итоги по коду и текущему названию без пересчета сумм
--итоги по каждому наименованию(иногда менялось и ИНН)
...
Рейтинг: 0 / 0
Архивные данные
    #38891594
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreymx,
тут 2 вопроса в одной теме:
1. Система меняется = делать по ТЗ с рефакторингом. Т.е. нужно полное покрытие тестами старых отчётов.
2. Отчёты всегда по новым данным или замороженным?
Тут от бизнеса зависит.
Если главбух Иванова уволилась, а отчёт был на неё, то либо замораживать все отчёты (править нельзя будет вчерашним числом).
Либо при новом запуске буден новое ФИО.
Либо вводить в модель БД период действия атрибутов. Что достаточно дорого.
...
Рейтинг: 0 / 0
Архивные данные
    #38891675
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123andreymx,
тут 2 вопроса в одной теме:
1. Система меняется = делать по ТЗ с рефакторингом. Т.е. нужно полное покрытие тестами старых отчётов.
2. Отчёты всегда по новым данным или замороженным?
Тут от бизнеса зависит.
Если главбух Иванова уволилась, а отчёт был на неё, то либо замораживать все отчёты (править нельзя будет вчерашним числом).
Либо при новом запуске буден новое ФИО.
Либо вводить в модель БД период действия атрибутов. Что достаточно дорого.я был уверен, что во всех системах у нас все атрибуты по датам - подписи, должности и т.д.
Пока не пришел запрос на корректировку - подправить подписи в одной из систем. Поругался, написал телегу - но воз и ныне там.
...
Рейтинг: 0 / 0
Архивные данные
    #38891702
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreymx,
А ты сам пробовал так писать?
join перестает работать. Если все поля с периодом действия.
...
Рейтинг: 0 / 0
Архивные данные
    #38891721
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123andreymx,
А ты сам пробовал так писать?
join перестает работать. Если все поля с периодом действия.у меня всегда всё работает :))
Например, для подписей UDF используем. Но и джойн с датами тоже не проблема
...
Рейтинг: 0 / 0
Архивные данные
    #38892107
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Какие глобальные принципы работы с такими данными?Единого принципа нет и быть не может.
Проинстальте пару старых машин, где все ваши старые БД могут быть актуализированы и штатно запущены.
Готовность данных будет максимальной и при этом дешевой. Все будет предсказуемо и вполне надежно.

Если время упущено (много баз, много данных, знаний о структуре софта не хватает, бардак старых периодов), то переход на некий "универсальный формат" весьма маловероятен. Раньше надо было думать.

У нас боевая БД стоит на серваке с 2003г. Меняем только винты массива и кулеры. :)

зы: пресловутый "технологический долг". :)
...
Рейтинг: 0 / 0
17 сообщений из 17, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Архивные данные
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]