powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Нужна ли колонка id в моем случае?
6 сообщений из 31, страница 2 из 2
Нужна ли колонка id в моем случае?
    #38647624
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
guest_20040621Ответ на ваш вопрос - нет, судя по написанному, идентификатор не нужен. Однако, есть вопрос.

> таблица планируется с большими данными, возможны миллиарды строк

Поправьте, если я ошибся: раз в полсекунды регистрируется некоторое значение, в сутки - 172800 значений, в год - 63072000. Как бы не очень понятна задача, для которой теоретически необходима серия длиной в год. Вы делать-то с ней что намерены? Зачем для этого СУБД? Писать сырые данные в файловую систему будет гораздо менее затратно.
Эти значения необходимы для анализа производства, возможно год и не нужен будет, пол года точно и уникальных замеряемых величин будет около 1000. Согласен данных дохера. Только к примеру нужна выборка нескольких тэгов за определенный промежуток времени, в СУБД это решается быстро, а с файловой системой даже не могу предположить. Может совет есть?
И еще теги с малой дискретности собираю в отдельную базу, чтоб не нагружать основную...
...
Рейтинг: 0 / 0
Нужна ли колонка id в моем случае?
    #38648049
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Эти значения необходимы для анализа производства

Это понятно. Мне кажется рациональной такая организация: в базе данных вы описываете те аспекты производства, которые влияют на технологические процессы. Сырьё и параметры его лабораторного анализа (которые меняются от партии к партии), варианты технологических процессов, персональный состав операторов, датчики, обслуживание оборудования и пр. Возможно, есть смысл там же держать и агрегаты показаний, - но это зависит уже от производственной специфики. А сами значения датчиков пишете в файлы с такой разбивкой, которая отражает эту самую производственную специфику. Неделя, месяц, квартал, - выбираете самый длинный интервал, который её отражает.

> пол года точно и уникальных замеряемых величин будет около 1000

Каким образом и для чего вам нужно одновременно обработать 30 млрд значений? Можете сформулировать задачу более определённо?
...
Рейтинг: 0 / 0
Нужна ли колонка id в моем случае?
    #38648294
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Агрегатные значения тоже храню в БД, агрегаты за минуту, час, смена, сутки.
guest_20040621>
Каким образом и для чего вам нужно одновременно обработать 30 млрд значений? Можете сформулировать задачу более определённо?
Одновременно они не нужны, только частями и то некоторые значения могут вообще не понадобятся.
А в чем выигрыш вашей идеи? Я по началу тоже рассматривал вариант хранить в файлах, но протестировал на СУБД, вроде проблем пока не обнаружил. Если брать СКАДА системы, они тоже хранят сырые данные в БД.
...
Рейтинг: 0 / 0
Нужна ли колонка id в моем случае?
    #38648323
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Одновременно они не нужны, только частями и то некоторые значения могут вообще не понадобятся.

Тогда зачем их хранить в базе данных?

> А в чем выигрыш вашей идеи?

Это не идея, это очевидное решение. Выигрыш - в базе данных на 30 млрд значений меньше. Меньшие аппаратные требования, меньше времени на административные задачи, в файловой системе хранить сжатые данные очень просто.

> Если брать СКАДА системы, они тоже хранят сырые данные в БД

Вы хотите быть на кого-то похожим или рационально решить задачу?

Ни в коем случае не занимаюсь агитацией; ваш выбор решения, ваша ответственность за этот выбор.
...
Рейтинг: 0 / 0
Нужна ли колонка id в моем случае?
    #38648843
ldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
guest_20040621, интересно...Надо протестировать...
Я так понимаю у вас большой опыт в этом. Ответьте пожалуйста не несколько вопросов, в каком типе файлов лучше хранить, какой рациональный объем одного файла?
...
Рейтинг: 0 / 0
Нужна ли колонка id в моем случае?
    #38649255
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Надо протестировать...

Возьмите данных с перспективой хотя бы на пару лет, посмотрите на штатную нагрузку, сделайте пару бэкапов/ресторов.

> у вас большой опыт в этом

Очень-очень давно была похожая задача. Много таймсерий обрабатывалось на R. Боюсь, деталей уже не вспомню, но сжатый csv был предпочтительнее других вариантов.
...
Рейтинг: 0 / 0
6 сообщений из 31, страница 2 из 2
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Нужна ли колонка id в моем случае?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]