powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Что выбрать для реал тайма ???
20 сообщений из 20, страница 1 из 1
Что выбрать для реал тайма ???
    #33517954
fox155
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ? Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке .Berkley DB скорее напоминвет файловый кеш и лишена всякого интерфеса базы ... Что делать ??? Дайте совет !
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33517980
aZm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
у вас реалтайм жесткий или мягкий? если жесткий - начать с выбора железа и оси реального времени. если мягкий... то поиск как всегда рулит

---
No Pity. No Mercy. No Regret.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518000
fox155
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
железо сервак с райдом - ось Linux 7.3 ....
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518015
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ?[quot fox155]
Ссылку уже дали - если потери сообщений не допустимы, то напрямую писать в БД нельзя, нужно сначала где то фиксировать эти сообщения, а уж потом переносить в БД, иначе любой чих сервера БД и прощай сообщения.

[quot fox155]Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке.
Как понять загибается ? Что за выборки, какова выборочность запросов ?
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518017
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот так правильней :
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ?
Ссылку уже дали - если потери сообщений не допустимы, то напрямую писать в БД нельзя, нужно сначала где то фиксировать эти сообщения, а уж потом переносить в БД, иначе любой чих сервера БД и прощай сообщения.

fox155Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке.
Как понять загибается ? Что за выборки, какова выборочность запросов ?[/quot]
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518038
fox155
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
select * from table

WHERE TRTDTS_RAWMSG.msgcode=12
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518051
fox155
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
select /*+ INDEX(I1_table) */
table.a,table.b .....
from table
WHERE table.msgcode=12
table.arrivaltime>:Lastarrivaltime and
table.arrivaltime<=:Lastarrivaltime+INTERVAL '1' MINUTE
ORDER BY table .arrivalt

все это дергаеться приложением через OCI получаеться курсор - раскручиваеться и т.д. И когда записей около 100 млн он просто долго думает :)
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518110
Yo.!!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
для таких выборок ты ничего лучше оракла не найдешь. разбей таблицу на партиции по полю arrivaltime, дальше если такой селект каждый раз запускается значит можно просто сделать индекс по фунции котрая будет вычислять номкр интервала и еще тьма вариантов, формулируй задачу яснее.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518122
AlexTheRaven
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fox155Дайте совет !
Как здесь принято говорить,тынц. Обещают не 600, а 8000. Тем более, IBM в последнее время делает подарки. Хотя запрос запросу рознь.

Если источник данных один, ещё можно посоветовать взять много оперативки и SCSI 320 жёсткий диск, а лучше - твердотельное хранилище, которое раз в 1000 быстрее, и попробовать FoxPro или что-нибудь другое файл-серверное.

В любом случае, железо должно быть первосортным, а ручки - прямыми.

Хотя гарантированного времени реакции системы ничего из выше описанного не обеспечит. Я бы сказал, что для настоящего realtime ни Ethernet, ни выпускаемые крупными сериями платформы (кроме, как ни странно, используемых в некоторых смартфонах), ни сколь-нибудь распространённые ОС не подходят.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518174
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Поддерживаю, DB2 будет поприятнее смотреть, чем Оракл, что на вставках, что на выборках.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518338
gardenman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И еще по MQ почитать. Может это про вашу тему?
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33518381
Alexey Rovdo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Посмотрите Versant Object Database и Versant FastObjects (www.versant.com). При определенных условиях это может оказаться самым верным выбором в вашем случае. Во всяком случае, в схожих условиях эти объектные СУБД показывают гораздо большую производительность по сравнению с тем же Oracle.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33527780
Rus000
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
а в чем хотите выиграть - на оперециях вставки (600/Сек) или операциях выборки? в зависимости от этого и нужно организовывать структуру БД и индексов на ней.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33527883
ggv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ggv
Гость
интересная задача.
Был у меня несколько лет проект, по VoIP биллингу.
Задача была обсчитать 500 одновременных звонков в секунду.
На каждый звонок от двух (подавляющее меньшенство случаев) до 10 (меньшенство случаев). Среднее значение было четыре legs (терминология cisco) на звонок. Приходящих с разных концов света, от разных маршрутизаторов, задействованных в звонке. С размером чуток меньше 600 B (ну размер можно менять на radius сервер, только кошководы хотели именно такой перечень инфы) .
Постым арифметическим подсчетом можно узнать требуемую полосу пропускания на биллинговом сервере только для этих пакетов.
все построили на MQ (транспорт и монитор транзакций) и DB2 workgroup edition (LDAP в реализации IBM tivoli DS использовался для authentication, authorization, role based access, и место хранения всех контрактов, иерархии продавцов/реселлеров, клиентов, сервисов, и прочая, все, что было нужно представить древовидно)
В первую же новогоднюю ночь кол-во звонков переплюнуло запланированный максимум. Кошководы и совладельцы неспали ночь, мониторя свои кошки и каналы, а каналы загибались, кошки давали отказ в обслуживании клиентам, но ни один пакет небыл потерян.
Я это к чему. При правильном проектировании индустрия представляет практически неограниченный выбор средств для решения задач.
Я выбрал вышеописанный.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33527895
ggv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ggv
Гость
сейчас хочу внести в проект еще один продукт - Message Broker.
Не для повышения пропускной способности, а для облегчения переносимости бизнес логики и упрощения/ускорения разработки.
Но это уже так, в целях научного интереса, потому как давно ушел из компании, которая это эксплуатирует и владеет бизнесом.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33527936
тлгдшлщм
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Если нужна работа с хорошим временем отклика и с учетом данных a-la timeseries
я бы смотрел в сторону Informix.

http://www-306.ibm.com/software/data/informix/blades/timeseries/
http://www-306.ibm.com/software/data/informix/blades/realtimeloader/
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33529951
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ? Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке .Berkley DB скорее напоминвет файловый кеш и лишена всякого интерфеса базы ... Что делать ??? Дайте совет !

Насколько я понимаю, это 2 разные проблемы : 1) поток в 600 сообщений 2) "Оракл загибается на выборке".
Нынче в моду входят "edge databases" типа TimeTens (нынче принадлежит Oracle), ANTs и пр., которые стараются все держать в памяти и за счет этого на транзакциях летают как псисы, но умеют передавать данные на постоянное хранение более традиционным БД.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33531866
Alter Ego
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
RoundRobinDB.
Или текстовый файл.
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33535595
Фотография Anton Demidov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TimesTen In-Memory Database v6.0.2 Может быть именно тем, что вам надо. Фишка в том, что она может использовать нормальную базу Оракла для хранения тех данных, что в память не влезли.
Код: plaintext
1.
2.
--
Антон
Per rectum ad astrum
...
Рейтинг: 0 / 0
Что выбрать для реал тайма ???
    #33539998
void_piligrim
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть промышленные СУБД, они как раз и предназначены для архивации данных поступающих с большой скоростью. Например iHistorian или Industrial SQL...
...
Рейтинг: 0 / 0
20 сообщений из 20, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Что выбрать для реал тайма ???
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]