|
|
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkriА вот архитектурными вопросами заниматься не хотят. Т.е. партиции, к примеру, у нас есть, но мы сами придумываем, как их создать, хотя, на мой взгляд, это должна быть работа DBA. Cкажу как разработчик: это НЕ работа DBA. Это работа разработчика/архитектора, которому при этом стоит поддерживать хороший рабочий контакт с DBA. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.08.2009, 20:18 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
Приходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2009, 21:37 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkriПриходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Странно. Зачем же они не переходят никак на более сдержанное отношение к рекламе. Все таки мы привыкли здесь, что это присуще некоторым фоксппрошникам, готовым даже на бан пойти ради пропаганды. mikkri Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. Многим но не всем? Тестировать кто будет? Те же что на Орале пробовали свои силы? Тестирование ить тоже требует навыков каких-никаких. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2009, 22:43 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkriуверен, задержку до 1 минуты мы сможем "продать" бизнесу, но не больше mikkriПриходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Многим понравилось... как говориться оказалось не казалось ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2009, 22:48 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkriПриходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. На ноутбуке наверное показывали?:) Используйте компресиию в Оракле, база ужмется не хуже. Проверено. На запросах к одной широкой таблице Оракл вряд ли догонит IQ, но можно попробовать потягаться. Используйте bitmap и bitmap-join индексы оракла, и побольше, не стесняйтесь, они получаются небольшими. Если можно логически поделить данные - делите(partitioning). Обязательно используйте дополнительное секционирование (subpatition) по хэшу - позволит повисить эффективность параллелизма и равномерно нагрузить диски. Если джойнятся несколько таблиц, старайтесь добиться partition-wise join'а, т.к. секционируйте даже небольшие таблицы, чтобы все таблицы были эквисекционированными. Помните, IQ всегда использует параллелизм, не стесняйтесь использовать его в Оракле. Если Оракл упрется в диски, добавьте дисков, они нынче дешевые :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 11:23 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkriПриходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. Интересно, а как "они" вам данные будут в макс.пределах одной минуты грузить в IQ? У Sybase есть решение Sybase IQ Real-Time Loading Solution http://www.sybase.co.uk/detail?id=1062400 но там, имхо, далеко не реал-тайм; больше похоже на hot batch. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 12:36 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
vadiminfomikkri Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. Многим но не всем? Тестировать кто будет? Те же что на Орале пробовали свои силы? Тестирование ить тоже требует навыков каких-никаких. Да, не всем. Один наш товарищ заметил, что Оракл тоже сжимать данные умеет, если попросить. И, да, те же товарищи будут тестировать. japmikkriПриходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. Интересно, а как "они" вам данные будут в макс.пределах одной минуты грузить в IQ? У Sybase есть решение Sybase IQ Real-Time Loading Solution http://www.sybase.co.uk/detail?id=1062400 но там, имхо, далеко не реал-тайм; больше похоже на hot batch. Собственно, в этом и есть один из ключевых вопросов. Плюс у нас в отделе уже есть пример "онлайн" синхронизации DB2 на мэйнфрейме с обычным Sybase под Unix. Там задержки обычно до 15 минут, но иногда бывает, что по несколько часов. P.s. оказывается, у нас уже есть лицензия на Sybase IQ, т.е. нам нужно будет только на DBA "раскошелиться". Вот что значит грамотный отдел закупок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 13:43 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
ApexmikkriПриходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. На ноутбуке наверное показывали?:) Используйте компресиию в Оракле, база ужмется не хуже. Проверено. На запросах к одной широкой таблице Оракл вряд ли догонит IQ, но можно попробовать потягаться. Используйте bitmap и bitmap-join индексы оракла, и побольше, не стесняйтесь, они получаются небольшими. Если можно логически поделить данные - делите(partitioning). Обязательно используйте дополнительное секционирование (subpatition) по хэшу - позволит повисить эффективность параллелизма и равномерно нагрузить диски. Если джойнятся несколько таблиц, старайтесь добиться partition-wise join'а, т.к. секционируйте даже небольшие таблицы, чтобы все таблицы были эквисекционированными. Помните, IQ всегда использует параллелизм, не стесняйтесь использовать его в Оракле. Если Оракл упрется в диски, добавьте дисков, они нынче дешевые :) Где ж взять человека, который все эти тонкости понимает... :-( DBA, как говорят выше, не помощники. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 13:48 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkri Где ж взять человека, который все эти тонкости понимает... :-( DBA, как говорят выше, не помощники. Любой нормальный специалист по Ораклу должен такие вещи знать, тем более человек, который работает с высоконагруженными системами. А у вас, насколько я понимаю банк? Там наверняка должны быть такие люди. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 14:00 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
Apexmikkri Где ж взять человека, который все эти тонкости понимает... :-( DBA, как говорят выше, не помощники. Любой нормальный специалист по Ораклу должен такие вещи знать, тем более человек, который работает с высоконагруженными системами. А у вас, насколько я понимаю банк? Там наверняка должны быть такие люди. Такие люди не хотят брать на себя ответственность за рекомендованное решение, вот в чем проблема. Пытаемся нового товарища нанять сейчас, может сможет помочь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 14:11 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkri japmikkriПриходили товарищи из Sybase и очень сильно рекламировали Sybase IQ. Многим понравилось... Вероятно, будет теперь тестировать. Кстати, обещают сжать БД в 2-3 раза за счет более эффективного хранения данных на диске. Интересно, а как "они" вам данные будут в макс.пределах одной минуты грузить в IQ? У Sybase есть решение Sybase IQ Real-Time Loading Solution http://www.sybase.co.uk/detail?id=1062400 но там, имхо, далеко не реал-тайм; больше похоже на hot batch. Собственно, в этом и есть один из ключевых вопросов. Плюс у нас в отделе уже есть пример "онлайн" синхронизации DB2 на мэйнфрейме с обычным Sybase под Unix. Там задержки обычно до 15 минут, но иногда бывает, что по несколько часов. P.s. оказывается, у нас уже есть лицензия на Sybase IQ, т.е. нам нужно будет только на DBA "раскошелиться". Вот что значит грамотный отдел закупок. Результаты было бы интересно узнать про IQ real-time, если будите тестить. Мир мэйнфреймов для меня неведом, но как-то большая задержка получается. У вас там все "ручками" сделано или решение какое-то? Если тыкнуть пальцем в небо, т.е. выбрать "что-то" из IBM-овской линейки Z продуктов, то тотже IBM InfoSphere Change Data Capture for z/OS http://www-01.ibm.com/software/data/infosphere/change-data-capture/system-z/ должен справляться намного лучше. p.s. пардон за мэйнфреймовский оффтоп ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 14:54 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
japМир мэйнфреймов для меня неведом, но как-то большая задержка получается. У вас там все "ручками" сделано или решение какое-то? Если тыкнуть пальцем в небо, т.е. выбрать "что-то" из IBM-овской линейки Z продуктов, то тотже IBM InfoSphere Change Data Capture for z/OS http://www-01.ibm.com/software/data/infosphere/change-data-capture/system-z/ должен справляться намного лучше. p.s. пардон за мэйнфреймовский оффтоп Там какая-то программа от IBM, которая читает транзакционные логи БД и "экспортирует" изменения в стороннюю БД, в нашем случае в Sybase. Почему такие задержки - не знаю. Но ответственный за репликацию товарищи с этим бороться не собираются. Для них важно, чтобы данные были доступны для аналитики, а там точность до минуты не требуется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 15:06 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkriНо ответственный за репликацию товарищи с этим бороться не собираются. Для них важно, чтобы данные были доступны для аналитики, а там точность до минуты не требуется. тогда все ок ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 16:19 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
Минусы репликации и standby-йных решений - копирование происходит в клон операционной БД, значит, доп.агрегаты и индексы создать затруднительно, их придется создавать на транзакционной части, а это будет утяжелять запись. Трансформировать данные в ходе тупого копирования по этим технологиям невозможно. А производная аналитика часто ценнее имеющейся в OLTP. Я за near-realtime решение с поточным отцеживанием изменением, передачей и трансформацией их в отдельно стоящее ХД, заточенное по модели именно на аналитику, и там уже доагрегацию/доиндексацию по желанию. Копать можно в сторону CDC-технологий. У Oracle они поддерживаются в ODI, недавно купленном ПО GoldenGate, У третьих поставщиков тоже есть решения - у Informatica, например, называется PowerExchange for Oracle. Данные лучше класть в нерукопашный (MV), а настоящий, OLAP, с многомерным движком. Выгоды очевидны. Мощные и современные решения - Essbase, MS SSAS. Оба поддерживают инкрементную агрегацию, т.е. подливку данных в почти-реальном-времени без остановки аналитических задач. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 18:29 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
mikkrijapМир мэйнфреймов для меня неведом, но как-то большая задержка получается. У вас там все "ручками" сделано или решение какое-то? Если тыкнуть пальцем в небо, т.е. выбрать "что-то" из IBM-овской линейки Z продуктов, то тотже IBM InfoSphere Change Data Capture for z/OS http://www-01.ibm.com/software/data/infosphere/change-data-capture/system-z/ должен справляться намного лучше. p.s. пардон за мэйнфреймовский оффтоп Там какая-то программа от IBM, которая читает транзакционные логи БД и "экспортирует" изменения в стороннюю БД, в нашем случае в Sybase. Почему такие задержки - не знаю. Но ответственный за репликацию товарищи с этим бороться не собираются. Для них важно, чтобы данные были доступны для аналитики, а там точность до минуты не требуется. Сия программа раньше называлась DataMirror, сейчас входит в семью InfoSphere. Аналог у Oracle - GoldenGate. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2009, 18:31 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
Может стоит посмотреть в сторону outline. Либо поиграться с хинтами. Прежде чем применять хирургические методы хорошо бы убедиться что терапия ничего не даст. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2009, 14:01 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
Гликоген2Минусы репликации - копирование происходит в клон операционной БД Разве репликация происходит в клон бд? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2009, 17:57 |
|
||
|
OLTP + OLAP вместе (2 Тб)
|
|||
|---|---|---|---|
|
#18+
Le PeaceГликоген2Минусы репликации - копирование происходит в клон операционной БД Разве репликация происходит в клон бд? зависит от типа репликации. Информикс, например, умеет в клон, и умеет выборочные данные в не-клон. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.10.2009, 00:00 |
|
||
|
|
start [/forum/moderation_log.php?user_name=%D1%82%D0%B5%D0%BC%D0%B0_%D0%B2%D0%BE]: |
0ms |
get settings: |
12ms |
get forum list: |
13ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
91ms |
get topic data: |
11ms |
get first new msg: |
8ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
1ms |
| others: | 959ms |
| total: | 1189ms |
| 0 / 0 |
