ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Одовременная запись данных в таблицу БД
16 сообщений из 16, страница 1 из 1
Одовременная запись данных в таблицу БД
    #38162102
danatriel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
danatriel
Участник
Всем доброго дня. Прошу сильно не пинать, знаний пока что не хватает, поэтому спрашиваю у вас совета.
Условие: Есть N датчиков (примерно 100). Датчики одновременно шлют данные по TCP протоколу с интервалом в <1 секунду.
Задача: Необходимо записывать данные в таблицу (на Postgres)
Вопрос : Как лучше реализовать запись данных?

Варианты, которые пришли в голову:
1. Общий для всех потоков (1 датчик=1 поток) LinkedBlockingQueue.
Добавление в очередь:
Код: java
1.
list.put(message);


Отдельным потоком беру данные из очереди
Код: java
1.
list.take();


и записываю в таблицу.
2. Для каждого потока свой синхронизированный список и одновременная запись в таблицу из всех потоков.

Мне кажется, что оба варианта совсем не по фен-шую. Помогите пожалуйста советом.
Заранее благодарю.
...
Рейтинг: 0 / 0
22.02.2013, 12:55:13
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162143
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
По-моему со стороны Java тут как ни сделай, будет вполне ОК. 100 сообщений в секунду, не так, много. Главное чтобы они как можно меньше друг друга блокировали.
А вот над чем бы стоило подумать, так это над записью в Postgres. Какой размер сообщения? Какого размера будет база через неделю? Через месяц? Как при этом изменится скорость вставки? Нужна ли возможность архивации?
...
Рейтинг: 0 / 0
22.02.2013, 13:12:59
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162149
danatriel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
danatriel
Участник
Blazkowicz, Вопрос как-раз и в блокировках. А БД это уже другой вопрос:)
...
Рейтинг: 0 / 0
22.02.2013, 13:14:35
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162159
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
danatriel,
1 уровень - системный. Сбор в ОДИН список всех датчиков. Всё равно сколько потоков, но и 1 справится.
2 уровень - прикладной. 1 поток\процесс_из_файла пишет с этого списка.
Итого 1 поток на прикладном уровне и 1 на системном.
...
Рейтинг: 0 / 0
22.02.2013, 13:17:36
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162164
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Я бы сделал одну очередь и пул с двух сторон. Чтобы можно было с каждой стороны настраивать сколько потоков обслуживают чтение датчиков и запись в базу. В базу конечно, же нужно писать большими батчами. Скорее всего в 1-2 потока. Проблема только в том что делать с аварийными ситуациями, когда вся очередь, которая в памяти теряется.
...
Рейтинг: 0 / 0
22.02.2013, 13:19:13
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162171
danatriel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
danatriel
Участник
Petro123,
Один поток на системном уровне не получится сделать, т.к. читаю данные с датчиков через сокет, как только коннектится новый датчик к сокету, создается новый поток. Может это и не правильно, но другой реализации не знаю.
...
Рейтинг: 0 / 0
22.02.2013, 13:21:25
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162173
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
danatrielBlazkowicz, Вопрос как-раз и в блокировках. А БД это уже другой вопрос:)
Мне кажется 100 сообщений в секунду это фигня, даже Vector должен справится. Ну, конечно, же так делать не стоит. Нужна нормальная колекция с ReadWrite блокировкой.
...
Рейтинг: 0 / 0
22.02.2013, 13:21:40
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162176
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
danatrielОдин поток на системном уровне не получится сделать, т.к. читаю данные с датчиков через сокет, как только коннектится новый датчик к сокету, создается новый поток. Может это и не правильно, но другой реализации не знаю.
NIO
...
Рейтинг: 0 / 0
22.02.2013, 13:22:14
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162188
Dan Black
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dan Black
Участник
Netty + а в базе данных обязательно сделать сегментацию таблиц по временным промежуткам
...
Рейтинг: 0 / 0
22.02.2013, 13:33:17
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162208
sanBez
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanBez
Участник
Dan Blackа в базе данных обязательно сделать сегментацию таблиц по временным промежуткам
+100
Данные потом еще и запрашивать надо будет. Или чисто для выборки/показа или для агрегирования (среднее за интервал, сумма).
Без сегментации любой подобный запрос умрет
...
Рейтинг: 0 / 0
22.02.2013, 13:44:17
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162235
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
с чего она умрет при нагрузке 100 зап. в сек.
...
Рейтинг: 0 / 0
22.02.2013, 13:56:52
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162247
sanBez
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sanBez
Участник
Petro123с чего она умрет при нагрузке 100 зап. в сек.
с любого запроса типа select sum(показатель) за предыдущие сутки, например (или за предыдущий час). Обычно в таких случаях мгновенные данные нужны для агрегирования и работа потом ведется над агрегированными значениями. Только их еще успеть посчитать надо, так чтобы скорость обсчета была больше чем скорость записи исходных измерений в базу.
...
Рейтинг: 0 / 0
22.02.2013, 14:02:39
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162259
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
sanBezPetro123с чего она умрет при нагрузке 100 зап. в сек.
с любого запроса типа select sum(показатель) за предыдущие сутки, например (или за предыдущий час). Обычно в таких случаях мгновенные данные нужны для агрегирования и работа потом ведется над агрегированными значениями. Только их еще успеть посчитать надо, так чтобы скорость обсчета была больше чем скорость записи исходных измерений в базу.
ну не знаю. Домысливать за автора не буду. Нагрузка как у всех БД. Обычная.
Если БД неблокировочник, то там вообще в ней 1 поток пишет и не мешает читать.
Удачи аффтару.
...
Рейтинг: 0 / 0
22.02.2013, 14:06:14
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162307
danatriel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
danatriel
Участник
Petro123,
тестировал так: 100 потоков пишут по 10000 сообщений с интервалом 500 мс в очередь - из очереди данные пишутся в БД одним потоком,даже без использования батча.
сделал запись в БД одним потоком - глюков вроде нет. Может вообще моя проблема надуманна и все так и оставить?:)
...
Рейтинг: 0 / 0
22.02.2013, 14:31:07
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162316
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
danatrielМожет вообще моя проблема надуманна и все так и оставить?:)
С точки зрения Java, да. Как уже написал выше, любое простое и адекватоное решение для указаной нагрузки не проблема. Т.е. наоборот. :)
...
Рейтинг: 0 / 0
22.02.2013, 14:35:41
| Ответить | Цитировать | Написать  
Одовременная запись данных в таблицу БД
    #38162322
danatriel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
danatriel
Участник
спасибо вам за консультацию))
...
Рейтинг: 0 / 0
22.02.2013, 14:37:40
| Ответить | Цитировать | Написать  
16 сообщений из 16, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Одовременная запись данных в таблицу БД
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=38162188&tid=2129923]:
 0ms
get settings:
 14ms
get forum list:
 28ms
check forum access:
 8ms
check topic access:
 8ms
track hit:
 58ms
get topic data:
 24ms
get forum data:
 6ms
get page messages:
 105ms
get tp. blocked users:
 3ms
others: 333ms
total:  587ms
созд. / загр.: 587ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]