Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Что выбрать для реал тайма ??? / 20 сообщений из 20, страница 1 из 1
02.02.2006, 09:24
    #33517954
fox155
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ? Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке .Berkley DB скорее напоминвет файловый кеш и лишена всякого интерфеса базы ... Что делать ??? Дайте совет !
...
Рейтинг: 0 / 0
02.02.2006, 09:37
    #33517980
aZm
aZm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
у вас реалтайм жесткий или мягкий? если жесткий - начать с выбора железа и оси реального времени. если мягкий... то поиск как всегда рулит

---
No Pity. No Mercy. No Regret.
...
Рейтинг: 0 / 0
02.02.2006, 09:43
    #33518000
fox155
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
железо сервак с райдом - ось Linux 7.3 ....
...
Рейтинг: 0 / 0
02.02.2006, 09:48
    #33518015
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ?[quot fox155]
Ссылку уже дали - если потери сообщений не допустимы, то напрямую писать в БД нельзя, нужно сначала где то фиксировать эти сообщения, а уж потом переносить в БД, иначе любой чих сервера БД и прощай сообщения.

[quot fox155]Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке.
Как понять загибается ? Что за выборки, какова выборочность запросов ?
...
Рейтинг: 0 / 0
02.02.2006, 09:48
    #33518017
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
Вот так правильней :
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ?
Ссылку уже дали - если потери сообщений не допустимы, то напрямую писать в БД нельзя, нужно сначала где то фиксировать эти сообщения, а уж потом переносить в БД, иначе любой чих сервера БД и прощай сообщения.

fox155Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке.
Как понять загибается ? Что за выборки, какова выборочность запросов ?[/quot]
...
Рейтинг: 0 / 0
02.02.2006, 09:59
    #33518038
fox155
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
select * from table

WHERE TRTDTS_RAWMSG.msgcode=12
...
Рейтинг: 0 / 0
02.02.2006, 10:05
    #33518051
fox155
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
select /*+ INDEX(I1_table) */
table.a,table.b .....
from table
WHERE table.msgcode=12
table.arrivaltime>:Lastarrivaltime and
table.arrivaltime<=:Lastarrivaltime+INTERVAL '1' MINUTE
ORDER BY table .arrivalt

все это дергаеться приложением через OCI получаеться курсор - раскручиваеться и т.д. И когда записей около 100 млн он просто долго думает :)
...
Рейтинг: 0 / 0
02.02.2006, 10:26
    #33518110
Yo.!!
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
для таких выборок ты ничего лучше оракла не найдешь. разбей таблицу на партиции по полю arrivaltime, дальше если такой селект каждый раз запускается значит можно просто сделать индекс по фунции котрая будет вычислять номкр интервала и еще тьма вариантов, формулируй задачу яснее.
...
Рейтинг: 0 / 0
02.02.2006, 10:29
    #33518122
AlexTheRaven
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
fox155Дайте совет !
Как здесь принято говорить,тынц. Обещают не 600, а 8000. Тем более, IBM в последнее время делает подарки. Хотя запрос запросу рознь.

Если источник данных один, ещё можно посоветовать взять много оперативки и SCSI 320 жёсткий диск, а лучше - твердотельное хранилище, которое раз в 1000 быстрее, и попробовать FoxPro или что-нибудь другое файл-серверное.

В любом случае, железо должно быть первосортным, а ручки - прямыми.

Хотя гарантированного времени реакции системы ничего из выше описанного не обеспечит. Я бы сказал, что для настоящего realtime ни Ethernet, ни выпускаемые крупными сериями платформы (кроме, как ни странно, используемых в некоторых смартфонах), ни сколь-нибудь распространённые ОС не подходят.
...
Рейтинг: 0 / 0
02.02.2006, 10:42
    #33518174
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
Поддерживаю, DB2 будет поприятнее смотреть, чем Оракл, что на вставках, что на выборках.
...
Рейтинг: 0 / 0
02.02.2006, 11:21
    #33518338
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
И еще по MQ почитать. Может это про вашу тему?
...
Рейтинг: 0 / 0
02.02.2006, 11:41
    #33518381
Alexey Rovdo
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
Посмотрите Versant Object Database и Versant FastObjects (www.versant.com). При определенных условиях это может оказаться самым верным выбором в вашем случае. Во всяком случае, в схожих условиях эти объектные СУБД показывают гораздо большую производительность по сравнению с тем же Oracle.
...
Рейтинг: 0 / 0
07.02.2006, 10:35
    #33527780
Rus000
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
а в чем хотите выиграть - на оперециях вставки (600/Сек) или операциях выборки? в зависимости от этого и нужно организовывать структуру БД и индексов на ней.
...
Рейтинг: 0 / 0
07.02.2006, 11:03
    #33527883
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
интересная задача.
Был у меня несколько лет проект, по VoIP биллингу.
Задача была обсчитать 500 одновременных звонков в секунду.
На каждый звонок от двух (подавляющее меньшенство случаев) до 10 (меньшенство случаев). Среднее значение было четыре legs (терминология cisco) на звонок. Приходящих с разных концов света, от разных маршрутизаторов, задействованных в звонке. С размером чуток меньше 600 B (ну размер можно менять на radius сервер, только кошководы хотели именно такой перечень инфы) .
Постым арифметическим подсчетом можно узнать требуемую полосу пропускания на биллинговом сервере только для этих пакетов.
все построили на MQ (транспорт и монитор транзакций) и DB2 workgroup edition (LDAP в реализации IBM tivoli DS использовался для authentication, authorization, role based access, и место хранения всех контрактов, иерархии продавцов/реселлеров, клиентов, сервисов, и прочая, все, что было нужно представить древовидно)
В первую же новогоднюю ночь кол-во звонков переплюнуло запланированный максимум. Кошководы и совладельцы неспали ночь, мониторя свои кошки и каналы, а каналы загибались, кошки давали отказ в обслуживании клиентам, но ни один пакет небыл потерян.
Я это к чему. При правильном проектировании индустрия представляет практически неограниченный выбор средств для решения задач.
Я выбрал вышеописанный.
...
Рейтинг: 0 / 0
07.02.2006, 11:05
    #33527895
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
сейчас хочу внести в проект еще один продукт - Message Broker.
Не для повышения пропускной способности, а для облегчения переносимости бизнес логики и упрощения/ускорения разработки.
Но это уже так, в целях научного интереса, потому как давно ушел из компании, которая это эксплуатирует и владеет бизнесом.
...
Рейтинг: 0 / 0
07.02.2006, 11:15
    #33527936
тлгдшлщм
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
Если нужна работа с хорошим временем отклика и с учетом данных a-la timeseries
я бы смотрел в сторону Informix.

http://www-306.ibm.com/software/data/informix/blades/timeseries/
http://www-306.ibm.com/software/data/informix/blades/realtimeloader/
...
Рейтинг: 0 / 0
07.02.2006, 21:58
    #33529951
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ? Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке .Berkley DB скорее напоминвет файловый кеш и лишена всякого интерфеса базы ... Что делать ??? Дайте совет !

Насколько я понимаю, это 2 разные проблемы : 1) поток в 600 сообщений 2) "Оракл загибается на выборке".
Нынче в моду входят "edge databases" типа TimeTens (нынче принадлежит Oracle), ANTs и пр., которые стараются все держать в памяти и за счет этого на транзакциях летают как псисы, но умеют передавать данные на постоянное хранение более традиционным БД.
...
Рейтинг: 0 / 0
08.02.2006, 15:57
    #33531866
Alter Ego
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
RoundRobinDB.
Или текстовый файл.
...
Рейтинг: 0 / 0
09.02.2006, 22:47
    #33535595
Anton Demidov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
TimesTen In-Memory Database v6.0.2 Может быть именно тем, что вам надо. Фишка в том, что она может использовать нормальную базу Оракла для хранения тех данных, что в память не влезли.
Код: plaintext
1.
2.
--
Антон
Per rectum ad astrum
...
Рейтинг: 0 / 0
13.02.2006, 09:55
    #33539998
void_piligrim
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что выбрать для реал тайма ???
Есть промышленные СУБД, они как раз и предназначены для архивации данных поступающих с большой скоростью. Например iHistorian или Industrial SQL...
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Что выбрать для реал тайма ??? / 20 сообщений из 20, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]