|
|
|
Нужна ли колонка id в моем случае?
|
|||
|---|---|---|---|
|
#18+
guest_20040621Ответ на ваш вопрос - нет, судя по написанному, идентификатор не нужен. Однако, есть вопрос. > таблица планируется с большими данными, возможны миллиарды строк Поправьте, если я ошибся: раз в полсекунды регистрируется некоторое значение, в сутки - 172800 значений, в год - 63072000. Как бы не очень понятна задача, для которой теоретически необходима серия длиной в год. Вы делать-то с ней что намерены? Зачем для этого СУБД? Писать сырые данные в файловую систему будет гораздо менее затратно. Эти значения необходимы для анализа производства, возможно год и не нужен будет, пол года точно и уникальных замеряемых величин будет около 1000. Согласен данных дохера. Только к примеру нужна выборка нескольких тэгов за определенный промежуток времени, в СУБД это решается быстро, а с файловой системой даже не могу предположить. Может совет есть? И еще теги с малой дискретности собираю в отдельную базу, чтоб не нагружать основную... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2014, 14:31 |
|
||
|
Нужна ли колонка id в моем случае?
|
|||
|---|---|---|---|
|
#18+
> Эти значения необходимы для анализа производства Это понятно. Мне кажется рациональной такая организация: в базе данных вы описываете те аспекты производства, которые влияют на технологические процессы. Сырьё и параметры его лабораторного анализа (которые меняются от партии к партии), варианты технологических процессов, персональный состав операторов, датчики, обслуживание оборудования и пр. Возможно, есть смысл там же держать и агрегаты показаний, - но это зависит уже от производственной специфики. А сами значения датчиков пишете в файлы с такой разбивкой, которая отражает эту самую производственную специфику. Неделя, месяц, квартал, - выбираете самый длинный интервал, который её отражает. > пол года точно и уникальных замеряемых величин будет около 1000 Каким образом и для чего вам нужно одновременно обработать 30 млрд значений? Можете сформулировать задачу более определённо? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2014, 19:46 |
|
||
|
Нужна ли колонка id в моем случае?
|
|||
|---|---|---|---|
|
#18+
Агрегатные значения тоже храню в БД, агрегаты за минуту, час, смена, сутки. guest_20040621> Каким образом и для чего вам нужно одновременно обработать 30 млрд значений? Можете сформулировать задачу более определённо? Одновременно они не нужны, только частями и то некоторые значения могут вообще не понадобятся. А в чем выигрыш вашей идеи? Я по началу тоже рассматривал вариант хранить в файлах, но протестировал на СУБД, вроде проблем пока не обнаружил. Если брать СКАДА системы, они тоже хранят сырые данные в БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2014, 06:15 |
|
||
|
Нужна ли колонка id в моем случае?
|
|||
|---|---|---|---|
|
#18+
> Одновременно они не нужны, только частями и то некоторые значения могут вообще не понадобятся. Тогда зачем их хранить в базе данных? > А в чем выигрыш вашей идеи? Это не идея, это очевидное решение. Выигрыш - в базе данных на 30 млрд значений меньше. Меньшие аппаратные требования, меньше времени на административные задачи, в файловой системе хранить сжатые данные очень просто. > Если брать СКАДА системы, они тоже хранят сырые данные в БД Вы хотите быть на кого-то похожим или рационально решить задачу? Ни в коем случае не занимаюсь агитацией; ваш выбор решения, ваша ответственность за этот выбор. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2014, 07:55 |
|
||
|
Нужна ли колонка id в моем случае?
|
|||
|---|---|---|---|
|
#18+
guest_20040621, интересно...Надо протестировать... Я так понимаю у вас большой опыт в этом. Ответьте пожалуйста не несколько вопросов, в каком типе файлов лучше хранить, какой рациональный объем одного файла? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2014, 12:49 |
|
||
|
Нужна ли колонка id в моем случае?
|
|||
|---|---|---|---|
|
#18+
> Надо протестировать... Возьмите данных с перспективой хотя бы на пару лет, посмотрите на штатную нагрузку, сделайте пару бэкапов/ресторов. > у вас большой опыт в этом Очень-очень давно была похожая задача. Много таймсерий обрабатывалось на R. Боюсь, деталей уже не вспомню, но сжатый csv был предпочтительнее других вариантов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.05.2014, 16:45 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=38647624&tid=1540877]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
157ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
41ms |
get tp. blocked users: |
1ms |
| others: | 232ms |
| total: | 474ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...