ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Структура базы
25 сообщений из 49, страница 1 из 2
  1  все
Структура базы
    #37923301
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
Доброго времени суток.

Такая проблемка:
Нужно создать базу в которую будут записываться 140 параметров каждую секунду каждый день.
Параметры будут отличаться своим местоположением.

Вопрос: какую базу делать - с одной таблицей и писать туда все мясом или отдельно таблицы на каждый параметр, или создавать каждые сутки свою таблицу и писать туда данные?

Что лучше(быстрее) для последующей обработки данных?

Модератор: Тема перенесена из форума "Microsoft SQL Server".
...
Рейтинг: 0 / 0
20.08.2012, 16:39
| Ответить | Цитировать | Написать  
Структура базы
    #37923310
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
S.G.
Участник
"каждые сутки свою таблицу" - этот вариант сразу можно перечеркнуть.
Про местоположение параметров не понял.
...
Рейтинг: 0 / 0
20.08.2012, 16:47
| Ответить | Цитировать | Написать  
Структура базы
    #37923327
Кот Матроскин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кот Матроскин
Участник
Параметры одного типа (числа, строки, ...) или разных?
Какие запросы к ним потом предполагаются?
...
Рейтинг: 0 / 0
20.08.2012, 16:56
| Ответить | Цитировать | Написать  
Структура базы
    #37923462
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
стоят метаконы, которые фиксируют температуру, давление и тд.

Место положение имеется ввиду что будет одно поле в которое будет заноситься физический адрес датчика(метакона).

Все параметры одного типа - real(float)

Запросы для статистики - например (парам= 1; дата с; дата по; )
...
Рейтинг: 0 / 0
20.08.2012, 18:10
| Ответить | Цитировать | Написать  
Структура базы
    #37923480
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
12 000 000 записей в день
...
Рейтинг: 0 / 0
20.08.2012, 18:21
| Ответить | Цитировать | Написать  
Структура базы
    #37923510
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ВячеславЛ12 000 000 записей в день
В этом случае стоит сильно задуматься над тем, чтобы писать в базу данные
[/b]после[/b] обработки, а не до.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2012, 18:50
| Ответить | Цитировать | Написать  
Структура базы
    #37923546
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
Dimitry Sibiryakov,

дело в том, что информация может понадобится после 1 или 2)( лет ее создания, а может и не понадобится

грубо говоря процесс такой:
- продукция изготовлена по определенному рецепту и режиму
- через год она была отгружена потребителю
- у потребителя проявился брак в продукции

нужно выявить причину возникновения брака(прочитать всю историю создания продукции)
...
Рейтинг: 0 / 0
20.08.2012, 19:32
| Ответить | Цитировать | Написать  
Структура базы
    #37923566
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ВячеславЛнужно выявить причину возникновения брака(прочитать всю историю создания продукции)

Прочитать двенадцать миллионов значений? Глазками? А не лопнут?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2012, 19:54
| Ответить | Цитировать | Написать  
Структура базы
    #37923574
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
ясно, спасибо за попытку помочь..
пойду искать решение в другом месте :(
...
Рейтинг: 0 / 0
20.08.2012, 20:00
| Ответить | Цитировать | Написать  
Структура базы
    #37923582
ALOTE
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ALOTE
Участник
ВячеславЛ
А что Вы имеете в виду, под тем, что параметры будут отличаться своим местоположением?
Ну а так, ну и что что 140 полей и каждую секунду? Главное не вешать кластерный индекс. А ключ делать по той же секунде. Ну и озаботится поведением, если произойдет не корректная вставка одного параметра. То есть, если insert сбойнул, делать update каждого параметра в новой записи. А если нужен быстрый поиск, то можно таблицу секционировать. Плюс добавить ключ на году, месяцу, дню, часу и т.п. Как вариант - параметры хранить в одной колонке, со ссылкой на тип параметра и на таблицу с временем создания параметра.
...
Рейтинг: 0 / 0
20.08.2012, 20:02
| Ответить | Цитировать | Написать  
Структура базы
    #37923591
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
ALOTE,
в данный момент таблица такая
key(int autoinc) paramid(int) objectid(int) date(datetime)

paramid менятется от 1 до 140
objectid от 0 до 4
...
Рейтинг: 0 / 0
20.08.2012, 20:10
| Ответить | Цитировать | Написать  
Структура базы
    #37923594
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ВячеславЛясно, спасибо за попытку помочь..
пойду искать решение в другом месте :(
Похоже, вместо слова "сильно" мне следовало в сообщении выделить "задуматься"... Ну да
ладно, скатертью дорожка.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2012, 20:13
| Ответить | Цитировать | Написать  
Структура базы
    #37923603
ALOTE
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ALOTE
Участник
ВячеславЛ,
paramid(int) objectid(int) интом не делайте. Я не соориентировался, что у Вас за СУБД, но думаю, типы данных short или подобные там есть. При таком объеме данных, нужно экономить каждый байт.

Уникальный ключ по paramid, objectid, date как я понимаю должен получиться, так что использовать key(int autoinc) смысла нет. Смертеподобно будет, если key окажется кластерным индексом.
...
Рейтинг: 0 / 0
20.08.2012, 20:22
| Ответить | Цитировать | Написать  
Структура базы
    #37923613
ALOTE
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ALOTE
Участник
ПыСЫ, насчет СУБД, надеюсь Вы не FoxPro или SQLite собираетесь использовать? Я боюсь они на такие объемы не потянут. Тут минимум MySQL нужен.
...
Рейтинг: 0 / 0
20.08.2012, 20:28
| Ответить | Цитировать | Написать  
Структура базы
    #37923617
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> Такая проблемка

Нет, Света, это она вам кажется такой. Хинт: для хранения данных не обязательно требуется СУБД.
...
Рейтинг: 0 / 0
20.08.2012, 20:35
| Ответить | Цитировать | Написать  
Структура базы
    #37923625
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
ALOTE,

Используем MS sQL 2005

Да и забыл еще, есть поле value(float), в которое записывается значение параметра

Основной вопрос такой:разделять данные по нескольким таблицам или писать все в одну?
За сутки в одной таблице получается около 1 000 000 записей, а )(ранить нужно данные за несколько лет.

В результате нужно будет формировать простой запрос за определенный период для одного параметра.

ЗЫ. ALOTE, Спасибо за помощь
...
Рейтинг: 0 / 0
20.08.2012, 20:40
| Ответить | Цитировать | Написать  
Структура базы
    #37923630
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ВячеславЛВ результате нужно будет формировать простой запрос за определенный период
для одного параметра.

Запрос - в студию!!!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2012, 20:43
| Ответить | Цитировать | Написать  
Структура базы
    #37923635
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
Dimitry Sibiryakov,
запрос
Код: sql
1.
2.
3.
select value from table1 
where paramid=1 and and objectid=1 data>=@data_s and data<=@data_po
order by data



В результате которого строиться график и высчитываются параметры для статистики, всякие сигмы и т.д.
...
Рейтинг: 0 / 0
20.08.2012, 20:50
| Ответить | Цитировать | Написать  
Структура базы
    #37923667
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ВячеславЛзапрос
Запросов другого типа не будет?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2012, 21:26
| Ответить | Цитировать | Написать  
Структура базы
    #37923677
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
Dimitry Sibiryakov,

нет
...
Рейтинг: 0 / 0
20.08.2012, 21:37
| Ответить | Цитировать | Написать  
Структура базы
    #37923678
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ВячеславЛнет
Тогда я бы делал по таблице на каждое сочетание paramid и objectid. То есть 140*5=700
таблиц. По-моему так серверу полегче будет на блокировках - быстродействие выше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2012, 21:41
| Ответить | Цитировать | Написать  
Структура базы
    #37923699
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
Dimitry Sibiryakov,

Были мысли и такие.
Только стоит ли бояться блокировок, если запросы будут выполняться
- не чаще чем 1 раз за час
- или наоборот запросы выполняются каждую секунду для отображения актуальны)( данны)(?
...
Рейтинг: 0 / 0
20.08.2012, 22:03
| Ответить | Цитировать | Написать  
Структура базы
    #37923704
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
ВячеславЛТолько стоит ли бояться блокировок, если запросы будут выполняться
- не чаще чем 1 раз за час
Тебе не за выборку надо беспокоиться, а чтобы добавляющие информацию потоки не передрались
за какой-нибудь ресурс.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.08.2012, 22:10
| Ответить | Цитировать | Написать  
Структура базы
    #37923721
ВячеславЛ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ВячеславЛ
Гость
Dimitry Sibiryakov,

Ясно, писать в разные таблицы лучше с точки зрения блокировок.
...
Рейтинг: 0 / 0
20.08.2012, 22:24
| Ответить | Цитировать | Написать  
Структура базы
    #37923890
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pectopatop
Участник
ВячеславЛDimitry Sibiryakov,

Ясно, писать в разные таблицы лучше с точки зрения блокировок.
Но хуже с точки зрения объемов данных - ключики в таблицах дублируются.

Имхо, все верно выше сказали - пишите тупо в текстовые файлики, зачем вам СУБД? Аналитику сложную делать ведь не будете?
Файлик, допустим, - каждый день новый.
Одна строка файлика - одно измерение (140 параметров).
Дневной файлик содержит 12млн строк, и имеет объем несколько десятков Мб - это не много (FAR, Total Commander спокойно ищут в нем текст за секунды).
Если вам это много - бейте на новые файлики допустим каждый час.
...
Рейтинг: 0 / 0
21.08.2012, 07:43
| Ответить | Цитировать | Написать  
25 сообщений из 49, страница 1 из 2
  1  все
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Структура базы
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=32&msg=37923699&tid=1541575]:
 0ms
get settings:
 6ms
get forum list:
 14ms
check forum access:
 2ms
check topic access:
 3ms
track hit:
 166ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 67ms
get tp. blocked users:
 1ms
others: 207ms
total:  477ms
созд. / загр.: 477ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]