ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Статистика по большим данным.
11 сообщений из 11, страница 1 из 1
Статистика по большим данным.
    #38237696
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Щиче
Участник
Дано: БД OLTP размера примерно в 370 млн записей (IBM i, DB2). Продолжает расти ударными темпами.
Требуется создать параллельную БД OLAP, которая позволит изучать статистику по основной БД.
Вопросов возникает несколько:
1) Где можно почитать систематизированные материалы или курсы по организации OLAP для таких объемов? Применительно к IBM i и вообще.
2) Какие продукты используются для синхронизации двух неодинаковых по структуре баз DB2 при таких объемах и интенсивности работы в несколько сот тысяч записей в день?

Понимаю, что ответить на мои вопросы в двух словах невозможно, но буду благодарен за ссылки на учебные материалы. Наша фирма скупа на курсы, но знать про них интересно.
...
Рейтинг: 0 / 0
24.04.2013, 10:40
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38237899
knudsen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
knudsen
Гость
Щиче,

OLAP и OLPT - две большие разницы... я бы даже на разные LPAR поместил бы, хотя и не очень-то большие объёмы. Всё зависит от того что с этим самым OLAPом делать.

http://pic.dhe.ibm.com/infocenter/iseries/v7r1m0/index.jsp?topic=/rzahg/icmain.htm
...
Рейтинг: 0 / 0
24.04.2013, 12:02
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38238313
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mitek
Участник
Щиче,

OLAP он разный бывает. Кто-то для оного строит полноценное DWH со звездами/снежинками, кто-то просто реплицирует/импортит один-в-один в другую базу и там уже стейджит/агрегирует или просто юзает как есть.

1) Старый, но все еще полезный редбук Data Modeling Techniques for Data Warehousing

2) SQL/Q-репликация, СDC, ETL. Во многом зависит от того в каком временном регламенте хочется получать изменения на таргете.

Смотря чем еще будете OLAP-ить свои таблицы (BI-тул какой или просто свое custom-приложение)
...
Рейтинг: 0 / 0
24.04.2013, 14:46
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38238349
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mitek
Участник
mitek1) Старый, но все еще полезный редбук Data Modeling Techniques for Data Warehousing

Вот еще интересные статьи по DWH/OLAP на developerworks (там 3 части)
...
Рейтинг: 0 / 0
24.04.2013, 14:59
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38238860
knudsen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
knudsen
Гость
mitekСмотря чем еще будете OLAP-ить свои таблицы (BI-тул какой или просто свое custom-приложение)

Во-во, как-то давным-давно нацепили юнивёрс BO на OLTP таблички - долго потом нам это вспоминали QSYSOPRы...
...
Рейтинг: 0 / 0
24.04.2013, 18:22
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38239690
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Щиче
Участник
Спасибо всем, почитаю. Предполагается, что приложение будет наше. Примерно представляю как сделать, но не хотел велосипед изобретать.
...
Рейтинг: 0 / 0
25.04.2013, 11:38
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38239711
knudsen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
knudsen
Гость
Щиче,

Насчёт второй ссылки (автор Сабир Асадуллаев), я бы очень аккуратно отнёсся к данным теоретическим изысканиям. Только практика критерий истины.
...
Рейтинг: 0 / 0
25.04.2013, 11:47
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38240679
lookat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
lookat
Гость
Щиче,

Вам нужна аналитическая СУБД (или сразу appliance) как приемник данных
и в том или ином виде ELT-процесс / гетерогенная репликация данных.
Ну и конечно BI приложение front-end.

Если есть бюджет, то возможны варианты:

Аналитическая СУБД:
IBM Netezza
HP Vertica
EMC Greenplum
Actian Vectorwise
Teradata

ETL/ELT:
IBM DataStage
Informatica
SyncSort DMExpress
Talend
expressor

CDC/Replication:
Attunity Replicate
-- for Actian Vectorwise
-- for EMC Greenplum
-- for Teradata

Удачи.
...
Рейтинг: 0 / 0
25.04.2013, 20:45
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38241195
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Щиче
Участник
Я всего лишь разработчик. Мне сказали, что надо рубить деревья, дали топор. Про бензопилу и технику может заикаться менеджер. У меня инструмент DB2 и WebSphere, который можно сменить на Tomcat. Больше ничего не будет.
...
Рейтинг: 0 / 0
26.04.2013, 11:47
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38241255
Лобзик, какая там пила
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Лобзик, какая там пила
Гость
ЩичеМне сказали, что надо рубить деревья, дали топор лобзик . Про бензопилу и технику может заикаться менеджер.
...
Рейтинг: 0 / 0
26.04.2013, 12:10
| Ответить | Цитировать | Написать  
Статистика по большим данным.
    #38241576
knudsen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
knudsen
Гость
ЩичеЯ всего лишь разработчик. Мне сказали, что надо рубить деревья, дали топор. Про бензопилу и технику может заикаться менеджер. У меня инструмент DB2 и WebSphere, который можно сменить на Tomcat. Больше ничего не будет.

А как же "зелёный экран" - IBM i (iSeries, AS/400) всё таки... если только статистику по количеству записей, то вообще можно SQL-ки не набирать... типа из PF DSC -

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
                             Source Creation    Last Change               
 Member           Size        Type  Date       Date     Time      Records 
 CLSCM                 45056        11/23/12 11/23/12 19:09:51         75 
   Text:                                                                  
 Total number of members  . . . . . . . . . :                 1           
 Total number of members not available  . . :                 0           
 Total records  . . . . . . . . . . . . . . :                75           
 Total deleted records  . . . . . . . . . . :                 0           
 Total of member sizes  . . . . . . . . . . :             45056
...
Рейтинг: 0 / 0
26.04.2013, 14:25
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Статистика по большим данным.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]