Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ? Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке .Berkley DB скорее напоминвет файловый кеш и лишена всякого интерфеса базы ... Что делать ??? Дайте совет ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 09:24 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
у вас реалтайм жесткий или мягкий? если жесткий - начать с выбора железа и оси реального времени. если мягкий... то поиск как всегда рулит --- No Pity. No Mercy. No Regret. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 09:37 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
железо сервак с райдом - ось Linux 7.3 .... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 09:43 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ?[quot fox155] Ссылку уже дали - если потери сообщений не допустимы, то напрямую писать в БД нельзя, нужно сначала где то фиксировать эти сообщения, а уж потом переносить в БД, иначе любой чих сервера БД и прощай сообщения. [quot fox155]Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке. Как понять загибается ? Что за выборки, какова выборочность запросов ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 09:48 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
Вот так правильней : fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ? Ссылку уже дали - если потери сообщений не допустимы, то напрямую писать в БД нельзя, нужно сначала где то фиксировать эти сообщения, а уж потом переносить в БД, иначе любой чих сервера БД и прощай сообщения. fox155Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке. Как понять загибается ? Что за выборки, какова выборочность запросов ?[/quot] ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 09:48 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
select * from table WHERE TRTDTS_RAWMSG.msgcode=12 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 09:59 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
select /*+ INDEX(I1_table) */ table.a,table.b ..... from table WHERE table.msgcode=12 table.arrivaltime>:Lastarrivaltime and table.arrivaltime<=:Lastarrivaltime+INTERVAL '1' MINUTE ORDER BY table .arrivalt все это дергаеться приложением через OCI получаеться курсор - раскручиваеться и т.д. И когда записей около 100 млн он просто долго думает :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 10:05 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
для таких выборок ты ничего лучше оракла не найдешь. разбей таблицу на партиции по полю arrivaltime, дальше если такой селект каждый раз запускается значит можно просто сделать индекс по фунции котрая будет вычислять номкр интервала и еще тьма вариантов, формулируй задачу яснее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 10:26 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
fox155Дайте совет ! Как здесь принято говорить,тынц. Обещают не 600, а 8000. Тем более, IBM в последнее время делает подарки. Хотя запрос запросу рознь. Если источник данных один, ещё можно посоветовать взять много оперативки и SCSI 320 жёсткий диск, а лучше - твердотельное хранилище, которое раз в 1000 быстрее, и попробовать FoxPro или что-нибудь другое файл-серверное. В любом случае, железо должно быть первосортным, а ручки - прямыми. Хотя гарантированного времени реакции системы ничего из выше описанного не обеспечит. Я бы сказал, что для настоящего realtime ни Ethernet, ни выпускаемые крупными сериями платформы (кроме, как ни странно, используемых в некоторых смартфонах), ни сколь-нибудь распространённые ОС не подходят. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 10:29 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
Поддерживаю, DB2 будет поприятнее смотреть, чем Оракл, что на вставках, что на выборках. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 10:42 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
И еще по MQ почитать. Может это про вашу тему? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 11:21 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
Посмотрите Versant Object Database и Versant FastObjects (www.versant.com). При определенных условиях это может оказаться самым верным выбором в вашем случае. Во всяком случае, в схожих условиях эти объектные СУБД показывают гораздо большую производительность по сравнению с тем же Oracle. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.02.2006, 11:41 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
а в чем хотите выиграть - на оперециях вставки (600/Сек) или операциях выборки? в зависимости от этого и нужно организовывать структуру БД и индексов на ней. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2006, 10:35 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
интересная задача. Был у меня несколько лет проект, по VoIP биллингу. Задача была обсчитать 500 одновременных звонков в секунду. На каждый звонок от двух (подавляющее меньшенство случаев) до 10 (меньшенство случаев). Среднее значение было четыре legs (терминология cisco) на звонок. Приходящих с разных концов света, от разных маршрутизаторов, задействованных в звонке. С размером чуток меньше 600 B (ну размер можно менять на radius сервер, только кошководы хотели именно такой перечень инфы) . Постым арифметическим подсчетом можно узнать требуемую полосу пропускания на биллинговом сервере только для этих пакетов. все построили на MQ (транспорт и монитор транзакций) и DB2 workgroup edition (LDAP в реализации IBM tivoli DS использовался для authentication, authorization, role based access, и место хранения всех контрактов, иерархии продавцов/реселлеров, клиентов, сервисов, и прочая, все, что было нужно представить древовидно) В первую же новогоднюю ночь кол-во звонков переплюнуло запланированный максимум. Кошководы и совладельцы неспали ночь, мониторя свои кошки и каналы, а каналы загибались, кошки давали отказ в обслуживании клиентам, но ни один пакет небыл потерян. Я это к чему. При правильном проектировании индустрия представляет практически неограниченный выбор средств для решения задач. Я выбрал вышеописанный. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2006, 11:03 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
сейчас хочу внести в проект еще один продукт - Message Broker. Не для повышения пропускной способности, а для облегчения переносимости бизнес логики и упрощения/ускорения разработки. Но это уже так, в целях научного интереса, потому как давно ушел из компании, которая это эксплуатирует и владеет бизнесом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2006, 11:05 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
Если нужна работа с хорошим временем отклика и с учетом данных a-la timeseries я бы смотрел в сторону Informix. http://www-306.ibm.com/software/data/informix/blades/timeseries/ http://www-306.ibm.com/software/data/informix/blades/realtimeloader/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2006, 11:15 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
fox155Суть проблемы такова : есть поток в 600 сообщений в сек . его надо хранить некоторое время для анализа траблов. Всего выходит около 100 млн записей хранения. Какую СУБД можно использовать ? Оракл загибаеться на выборке - т.к. нужно брать его в хронологическом порядке .Berkley DB скорее напоминвет файловый кеш и лишена всякого интерфеса базы ... Что делать ??? Дайте совет ! Насколько я понимаю, это 2 разные проблемы : 1) поток в 600 сообщений 2) "Оракл загибается на выборке". Нынче в моду входят "edge databases" типа TimeTens (нынче принадлежит Oracle), ANTs и пр., которые стараются все держать в памяти и за счет этого на транзакциях летают как псисы, но умеют передавать данные на постоянное хранение более традиционным БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.02.2006, 21:58 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
RoundRobinDB. Или текстовый файл. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.02.2006, 15:57 |
|
||
|
Что выбрать для реал тайма ???
|
|||
|---|---|---|---|
|
#18+
TimesTen In-Memory Database v6.0.2 Может быть именно тем, что вам надо. Фишка в том, что она может использовать нормальную базу Оракла для хранения тех данных, что в память не влезли. Код: plaintext 1. 2. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.02.2006, 22:47 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=33529951&tid=1553660]: |
0ms |
get settings: |
5ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
32ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
| others: | 230ms |
| total: | 346ms |

| 0 / 0 |
