Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Посоветуйте базу данных. Приблизительный объем записей за сутки 60 милионов. И чтоб с ней потом можно было хоть как нибуть работать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 16:05 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
бюджет ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 16:06 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Щас тут начнется... придет ровдо, лисянский, прочие товарищи, и начнется мочилово... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 16:08 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
BunnyИ чтоб с ней потом можно было хоть как нибуть работать. Ключевой вопрос - как именно Вы хотите работать с этой базой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 16:09 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Бюджет до 30 000 $ Анализ количества сеансов. Тоесть брать периуд скажем недель и смотреть кто выходил больше 100 раз кто всего один раз вышел. Вот такого плана запросы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 16:19 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ИМХО Этих денег хватит только на винты для сервака ;)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 16:49 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
saasa Ну вообще деньги не вопрос нужно чтоб работоло :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 16:59 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
BunnyБюджет до 30 000 $ Анализ количества сеансов. Тогда существенный момент - количество пользователей. Но единственный imho способ вписаться в этот бюджет - "обсчитал и забыл". О произвольных многокритериальных запросах к миллиарду первички - можно забыть сразу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:01 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Bunnysaasa Ну вообще деньги не вопрос нужно чтоб работоло :) Тогда Oracle :) PS: ну понеслась... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:06 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Vadim_Maximov Bunnysaasa Ну вообще деньги не вопрос нужно чтоб работоло :) Тогда Oracle :) PS: ну понеслась... Ну а почему Oracle а не MS SQL Server ? Хотя я тоже думал об Oracle но неплохо былобы хоть как то обосновать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:13 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>Ну вообще деньги не вопрос нужно чтоб работоло :) ну тогда добавляем нолик получаем 300 000 $ берем oracle + IBM eServer p5 590 8-way POWER5 и какое-то время живем спокойно :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:15 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>Ну а почему Oracle а не MS SQL Server ? у MS нет partioning. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:16 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
А также кластеров и много еще чего. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:18 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Yo!>Ну вообще деньги не вопрос нужно чтоб работоло :) ну тогда добавляем нолик получаем 300 000 $ берем oracle + IBM eServer p5 590 8-way POWER5 и какое-то время живем спокойно :) И сколько живем мы спокойно ? Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:23 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Yo!у MS нет partioning. Ну, секционированные предствления есть. Vadim_MaximovА также кластеров и много еще чего. Эт, точно, что понеслось... Прям ну никак без RAC тут не обойтись. А ведь и алтернативные варианты существуют: Oracle Real Application Clusters and Industry Trends in Cluster Parallelism and Availability ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:28 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
автору MS нет partioning На вью есть, чего как правило хватает... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:28 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2 Yo!, Vadim_Maximov: ну вот, снова проснулись, лучше попросите Ларри снизить цены.. 2 Bunny: выбирать СУБД лучше из тройки. Из них MSSQL наиболее дешевая и легкая в освоении. По функционалу в ней тоже все нормально. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:29 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Vadim_MaximovТогда Oracle :) PS: ну понеслась... Cache. Точна, понеслась. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:30 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>И сколько живем мы спокойно ? понятия не имею :) >Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день. oracle loader умеет пихать прямо в дата-файлы минуя всякие констрейны, тиригеры и т.п. получается охеренно быстро ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:30 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Yo! oracle loader умеет пихать прямо в дата-файлы минуя всякие констрейны, тиригеры и т.п. получается охеренно быстро ... Ха... сиквельный bcp делает это с неменьшим успехом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:32 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Yo!>И сколько живем мы спокойно ? понятия не имею :) >Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день. oracle loader умеет пихать прямо в дата-файлы минуя всякие констрейны, тиригеры и т.п. получается охеренно быстро ... разве только Oracle это у меет делать? (забыли добавить - еще и без логгирования ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:33 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>разве только Oracle это у меет делать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:35 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Ну почти убедили за ORACLE :) Вот только машина уж слишком крутая :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:35 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Bunny Yo!>Ну вообще деньги не вопрос нужно чтоб работоло :) ну тогда добавляем нолик получаем 300 000 $ берем oracle + IBM eServer p5 590 8-way POWER5 и какое-то время живем спокойно :) И сколько живем мы спокойно ? Кстати там есть один ньюанс этот масив должен будет загружатся из текстового файла. Желательно чтоб это грузилось не целый день. Посмотрите еще в сторону аналитического сервера Sybase IQ. Данные он как раз с текстовиков грузит очень быстро, БД держит в сжатом виде, заточен в первую очередь под скоростное выполнение аггрегатных запросов по первичной информации, физически данные хранятся не как записи на страницах, а как поля на страницах, поэтому реально читаются только те страницы, которые содержат необходимую для запросов информацию, что обеспечивает приличные скорости на запросах, но тормозит, если его использовать как OLTP. На нагрузках с большим кол-вом юзеров не проседает, имеет множество оптимизированных под аналитику индексов, нулевое администрирование, внешне выглядит как обычная РСУБД с диалектом WatcomSQL (тот же, что и у ASA). Стоимость 40 тонн. Ну а далее, если интересно в FAQ sybase.sql.ru есть информация по техническим характеристикам и информация в представительстве Sybase. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:36 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>разве только Oracle это у меет делать? понятия не имею, я говорил о oracle loader ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:36 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUSПосмотрите еще в сторону аналитического сервера Sybase IQ. ... Стоимость 40 тонн. Ну а далее... Во-во, и получаем тока OLAP, а с сиквелом OLAP абсолютно бесплатно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:39 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>Посмотрите еще в сторону аналитического сервера Sybase IQ. какова sybaseIQ максимальная база (в записях) 60M*30=1.800M записей в месяц ... не знаю как IQ но оракл на p5 врядле год вытянет :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:40 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Да кстати пользователей будет человек десять небольше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:40 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2 ASCRUS, а как там у IQ с кластеризацией? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:40 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>Во-во, и получаем тока OLAP, а с сиквелом OLAP абсолютно бесплатно. у сиквела нехватает partioning, bitmap indexes, materialized view чтоб рассматривать ее как конкурента на таких объемах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:43 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2 ораклоидам и сиквелистам (но больше к первым, так как их громче слышно ): Проблема большинства оппонентов в том что они знают только свой продукт. Как правило это видно сразу и сильно. Быть может, хотя бы ради интереса, пощупать и тот, который вы засуживаете? Я думаю, прыти бы у вас бы значительно поубавилось. 2 Bunny: конечно берите Oracle, ведь круче него только горы! А то что он в 4 раза дороже, так это фигня, главное что там есть RAC. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:44 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
а $30000 - это только на софт? или на железо или на все вместе? че-та бютжет какой-то нереальный для такой системы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:47 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
>А то что он в 4 раза дороже, так это фигня, главное что там есть RAC фигня в виде RAC/standby позволит человеку держать одну машину для загрузки файликов, другую для изготовления отчетов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:47 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
[quot Yoу сиквела нехватает ... materialized view чтоб рассматривать ее как конкурента на таких объемах.[/quot] Да ну... А мож все-таки BOL хоть мельком пролистаем... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:51 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
gardenmanа $30000 - это только на софт? или на железо или на все вместе? че-та бютжет какой-то нереальный для такой системы. Ну эту сумму я примерно написал все зависит как обосновать. Может и больше только конечно без фанатизма :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:51 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
авторВо-во, и получаем тока OLAP, а с сиквелом OLAP абсолютно бесплатно. По моему разница между РСУБД и OLAP кубами просто преогромнейшая. IQ заточен под то, чтобы всасывать первичку в любых обьемах, ничего не придумывая и не проектируя лишнего, и обеспечивать нормальное время отклика системы вне зависимости от обьема данных, сложности запроса и кол-ва подключаемых сессий без вмешательства администратора и установки квот на обьемы выполняемых в системе запросов. Этого его заточка и он вполне нормально с этим справляется, на большее и не претендует. gardenman2 ASCRUS, а как там у IQ с кластеризацией? http://sybase.sql.ru/asa9/ASE-ASA-IQ.pdf Читайте последнюю колоночку (IQ). Этот документ правда не маркетинговый и не полный - он сделан самим Sybase для разработчиков Sybase, чтобы могли ориентироваться во всех линейках СУБД. P.S. Самый простой способ пощупать IQ - приехать в представительство Sybase со своим массивом данных и попросить организовать на их основе БД тестовую демонстрацию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:52 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая. Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:55 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Тут все ясно про ДБ2: http://www.db2.ru/1.1.3.html где-нить есть такая же страничка по Oracle и MSSQL? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:56 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
gardenmanТут все ясно про ДБ2: http://www.db2.ru/1.1.3.html где-нить есть такая же страничка по Oracle и MSSQL? Что Вас конретно интересует по сиквелу, чтоб не перечитывать все это? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:57 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklin gardenmanТут все ясно про ДБ2: http://www.db2.ru/1.1.3.html где-нить есть такая же страничка по Oracle и MSSQL? Что Вас конретно интересует по сиквелу, чтоб не перечитывать все это? цены ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 17:58 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Yo!>Посмотрите еще в сторону аналитического сервера Sybase IQ. какова sybaseIQ максимальная база (в записях) 60M*30=1.800M записей в месяц ... не знаю как IQ но оракл на p5 врядле год вытянет :) продолжим расчет 256 байт строчка * 1.8G= 460G за месяц (я нигде в арифметике ни ошибся?) 460П*12=5529G ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:00 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklin ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая. Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения. MS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений. Ну а насчет использования самого MSSQL как аналитического сервера по сравнению с IQ даже не обсуждаемо, хотя бы по той простой причине, что при физическом чтении данных для аналитических запросов затраты будут в многие разы меньше (плюс верно обратное утверждение - для простых запросов "SELECT *" затраты будут в столько же раз больше). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:00 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUSMS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений. Ну а насчет использования самого MSSQL как аналитического сервера по сравнению с IQ даже не обсуждаемо, хотя бы по той простой причине, что при физическом чтении данных для аналитических запросов затраты будут в многие разы меньше (плюс верно обратное утверждение - для простых запросов "SELECT *" затраты будут в столько же раз больше). Робяты.... Эййййй.... Ну не надо городить то, о чем Вы не знаете. Ну не ляпаю же я такие глупости, что в Оракле нет триггеров, а в Сайбейсе внешних ключей. gardenmanцены Тока недавно ссылку приводил: MS SQL > Oracle = True? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:04 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Интересно, почему на www.tpc.org MSSQL отсутствует в рейтингах на 3,000 и 10,000 GB Results? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:12 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ладно, раз пошла такая пьянка.. Слушал я как-то месяц назад одного дядку-аналитика по БД из Gartner Group и вот что он говорил: Sybase - в области мобильных решений, ему не будет равных года 2 точно. Про остальные области применения Sybase он говорил что как-то не очень. DB2 - классная СУБД, классные разработчики. Но 3 базы кода, причем UDB из них далеко не самая лучшая. MSSQL - крепкий и надежный, но давно нет новых версий. Предсказывал значительный рывок на рынке в конце года при выходе SQL2k5. Oracle - хороший продукт, но неоправданно дорогой и все еще чересчур сложный в управлении. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:19 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklinРобяты.... Эййййй.... Ну не надо городить то, о чем Вы не знаете. Я так и не получил внятного ответа про MS OLAP. Пойдем другим путем - берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Загружаем схему этой БД в IQ (скриптами, через CASE - как угодно). Загружаем данные с этой СУБД в IQ (через текстовые, удаленные - опять же как угодно). Начинаем работать - пишем любые SQL запросы стандарта 92-99, плюс используем специализированные OLAP функции в них. Таким образом я быстренько перегнал 30 гиговую БД MSSQL на IQ с доброй сотней миллионов записей и погонял разные аггрегаты по всем таблицам - среднее время отклика сервера держалось 1-2 секунды, нагрузка шла не сколько на винты, сколько на процессор (расжатие БД по ходу выполнения). БД на диске получилась гораздо меньше оригинальной (16 гб). Естественно на таких обьемах у MSSQL даже "SELECT Count(*) FROM Table" работало явно не 2 секунды (да и вообще COUNT в MSSQL не самая быстрая аггрегатная операция по моему мнению). В итоге за минимальное время я получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД. Не могли бы Вы рассказать, как все это будет в таком же ракурсе выглядеть применительно к MS OLAP ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:20 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
А oracle в TPC-H 3,000 GB Results есть на интеловском железе ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:22 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
segunSybase - в области мобильных решений, ему не будет равных года 2 точно. Это он про Sybase ASA :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:22 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
DimaRА oracle в TPC-H 3,000 GB Results есть на интеловском железе Особенно в этом моменте прикольна цена Storage Area Network ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:28 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2 ASCRUS авторЯ так и не получил внятного ответа про MS OLAP. ... Не могли бы Вы рассказать, как все это будет в таком же ракурсе выглядеть применительно к MS OLAP ? Да легко, берем Ваш полседний пост и чуть-чуть подправляем: Берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Создаем в MS OLAP сервер (через свои средства моделирования) кубы. Загружаем данные с этой СУБД в MS OLAP сервер (через текстовые, удаленные - как угодно). Начинаем работать - пишем любые SQL запросы стандарта MDX, плюс используем специализированные OLAP функции в них. А еще проще, используем Excel как клиента с его сводными таблицами - и писать ничего не надо. Любой мало-мальский пользователь секселя сможет анализировать по всем возможным измерениям. Таким образом легко перегнать 30 гиговую БД MSSQL на MS OLAP сервер с доброй сотней миллионов записей и погонять разные аггрегаты по всем таблицам - среднее время отклика будет держаться < 1-2 секунды. В итоге за минимальное время можно получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:37 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklinДа легко, берем Ваш полседний пост и чуть-чуть подправляем: Берем любую огромную БД любой СУБД, на базе которой нужно проводить аналитические запросы. Создаем в MS OLAP сервер (через свои средства моделирования) кубы. Загружаем данные с этой СУБД в MS OLAP сервер (через текстовые, удаленные - как угодно). Начинаем работать - пишем любые SQL запросы стандарта MDX, плюс используем специализированные OLAP функции в них. А еще проще, используем Excel как клиента с его сводными таблицами - и писать ничего не надо. Любой мало-мальский пользователь секселя сможет анализировать по всем возможным измерениям. Таким образом легко перегнать 30 гиговую БД MSSQL на MS OLAP сервер с доброй сотней миллионов записей и погонять разные аггрегаты по всем таблицам - среднее время отклика будет держаться < 1-2 секунды. В итоге за минимальное время можно получил максимальную отдачу и возможность проведения любой аналитики по данным первичной БД. То есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:40 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUS pkarklin ASCRUSПо моему разница между РСУБД и OLAP кубами просто преогромнейшая. Уважаемый ASCRUS. Я прекрасно понимаю разницу между первым и вторым. И под тоже, под что заточем Ваш IQ за 40 тонн, заточен и MS OLAP Server. Но вот в отличаи от IQ, он идет ВМЕСТЕ с поставкой РСУБД совершенно бесплатно. Т.е. за гараздо меньшие бабки можно получить и OLTP и OLAP решения. MS OLAP - это кубы (сам я с ним не работал) ? Если это кубы, то отсюда надо думать множество вытекающих последствий, главное из которых - постоянные затраты на их обновление, сопровождение и перепостроение при изменении измерений.если вы говорите про затраты ресурсов то, в любом случае, такие вещи лучше выносить из OLTP системы с целью снижения нагрузки. Другие же ресурсы (время разработки, периодичность обновления и т.д.) либо конечны, либо полностью автоматизируются. На мой взгляд, на разницу в стоимости продуктов (а она немаленькая) лучше купить железку по-мощнее и выдать участникам проекта премию за скорейшее успешное выполнение проекта. ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы грамотно спроектировать кубы ? И еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ?есть такая штука как частичное обновление куба. Рекомендую ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:45 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUSТо есть правильно ли я понял, что в отличие от моего примера придет ься еще потратить усилия и время, чтобы граммотно спроектировать кубы ? Вы правильно поняли, кубы надо спроетировать, а это равнятеся создание всех возможных измерений и значений. ASCRUSИ еще возникает вопрос ежедневного обновления кубов - они каждый раз будут пересчитываться или же как в IQ можно просто быстро доливать новые записи в таблицы и не заморачиваться ? Как угодно, можно делать: There are three ways to process a cube. If you are modifying the structure of the cube, you may be required to process the cube with the Full Process option. If you are adding new data to the cube, you can process the cube with the Incremental update option. To clear out and replace a cube's source data, you can use the Refresh data processing option. Кроме того есть поддержка: Real-Time Cubes A real-time cube is a regular cube that employs relational OLAP (ROLAP) partitions or dimensions that support the real-time OLAP feature of Microsoft® SQL Server™ 2000 Analysis Services. Остальные подробности в BOL. Ну, правда, не стоит ее здесь всю цитировать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:46 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Спасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко граммотных, которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:52 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
авторне шибко граммотных Ну и я не шибко грамотный в русском, что же поделаешь, вот вдалась мне вторая "м" :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 18:55 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUSСпасибо за подробные ответы. Просто у меня перед глазами был пример работающего MS OLAP, где была довольно сложная и быстро изменяющаяся первичная БД (MSSQL 2000), полная неизвестность в измерениях и что завтра потребуется в аналитике и группа специалистов, не шибко грамотных , которая умучалась все это сопровождать. В данном случае для "нерегламентированной аналитики" лично для меня все таки IQ выглядит предпочтительней, фактически и думать особо ни о чем не надо - поставил и поехал :)Интересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;). Я это к тому что такие спецы какой угодно продукт завалят. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:03 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
авторИнтересное кино получается. С одной стороны эти "специалисты" а с другой вы, который знает свой продукт и умеет с ним работать. Как-то это нечестно ;). Да я в те года про Sybase даже ничего не слышал, не то, что видел :) Сидел себе тихо, мирно на MSSQL. Но все это я сказал к тому, что на IQ любой, кто знает РСУБД перегонит и спокойно через любую систему, поддерживающую SQL начнет аналитику лепить (и в том же Excel), в случае же с OLAP нужны действительно специалисты. А те ребята грамотные были в MSSQL, просто им пришлось многому учиться, чтобы MS OLAP осваивать. Я вот тоже не могу сказать, что я специалист в аналитике - у меня другие задачи. Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:12 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
BunnyПосоветуйте базу данных. Приблизительный объем записей за сутки 60 милионов. И чтоб с ней потом можно было хоть как нибуть работать. Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:21 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
ASCRUS Однако зная прекрасно РСУБД (тот же MSSQL/ASA) я спокойно поставил IQ и в привычном для себя ключе смог спокойно организовать работу с большой БД, не особо задумываясь о каких то измерениях, распределении нагрузок, параметрах тонких настроек и прочему, чему нужно учиться не один месяц и возможно даже не один год.согласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему. Alexey Rovdo BunnyПосоветуйте базу данных. Приблизительный объем записей за сутки 60 милионов. И чтоб с ней потом можно было хоть как нибуть работать. Вы породили своим вопросом грандиозный флейм. Все будут сейчас до бесконечности спорить о том, какая база неподходит для решения задачи. Но профессионального совета о том, какая подходит наилучшим образом в этом споре не будет. Поскольку на основе столь незначительной информации о самой задаче и условиях эксплуатации системы явно невозможно дать разумный совет.хм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане. Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 19:44 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане. Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации. Еще раз, обратите внимание на нагрузку и объемы, На каком железе MSSQL будет работать с такими объемами, ссылку на сайте какого либо призводителя пожалуста ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 20:32 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
segunсогласен, для ряда задач вас спасет аналитичеческий функционал в РСУБД, но, ИМХО, это не панацея при больших объемах информации и, особенно, при большой OLTP-нагрузке на систему. Не путайте - Sybase IQ это не РСУБД с аналитическим функционалом. Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 21:38 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2ASCRUS > Это аналитический сервер с РСУБД функционалом, заточенный под большие обьемы данных и это большая разница. а Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 21:47 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
автора Сайбез как нибудь объясняет невыразительное выступление в tpc-h ? как я понял именно там IQ должен был блистать ? Спросите их разработчиков на форумах, они вроде как открыты :) Меня больше интересует практическое применение, чем участие в тестах, вполне возможно их тоже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.02.2005, 23:10 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
DimaR segunхм.. дело в том что все 4 СУБД о которых шла речь выше подходят для решения этой задачи в техническом плане. Другое дело в их стоимости (для простоты стоимость разработчиков и время разработки предполагаются одинаковыми). Какая же подходит наилучшим образом, вы правы, сказать нельзя. Явно недостаточно информации. Еще раз, обратите внимание на нагрузку и объемы, На каком железе MSSQL будет работать с такими объемами, ссылку на сайте какого либо призводителя пожалуста Вот Вам ссылка на технологическое решение одного из известных сайтов: TerraServer Cluster and SAN Experience ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 09:10 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Спасибо всем за ответы. Теперь надо это все переворить и выбрать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 09:27 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Хм... А вот все-таки интересно, на счет объемов: 1. Каков объем (а еще лучше структура) 1 записи? 2. Скока времени нужно держать данные в "атомарном виде"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 09:41 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklin Вот Вам ссылка на технологическое решение одного из известных сайтов: TerraServer Cluster and SAN Experience Очень итересное решение :) Поставили 4 компьютера каждый с кучей дисков, на каждом компютере хранится своя информация, еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения, и еще это все в 2х экземплярах (на всякий случай). Только вот если я захочу написать запрс к этому всему типа select "кратчайший путь с востока на запад" from "все сервера" ??? и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе? И при этом все будут запрашивать "розу ветров". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:12 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
DimaR pkarklin Вот Вам ссылка на технологическое решение одного из известных сайтов: TerraServer Cluster and SAN Experience Очень итересное решение :) Поставили 4 компьютера каждый с кучей дисков, на каждом компютере хранится своя информация, еще сервер приложений который распихивает запрсы по временным зонам и типу карт, на заранее определенный компютер и заранее определенное место хранения, и еще это все в 2х экземплярах (на всякий случай). Только вот если я захочу написать запрс к этому всему типа select "кратчайший путь с востока на запад" from "все сервера" ??? и захочу ежеминутно, обновлять информацию о направлении ветра в каждом городе? И при этом все будут запрашивать "розу ветров". Хм... Обос..ть можно что-угодно. ;) А вот если Вы чего-то захотите, то тогда под Ваше хотение и надо будет решение подбирать, а про хотения автора топика окромя 30 лимонов записей в сутки и не известно ничего. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:16 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
pkarklin Хм... Обос..ть можно что-угодно. ;) Само сабой :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:24 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Уважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ? У Sybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться. О чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:34 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Так... Продолжаем разговор... ASCRUSУважаемый pkarklin - MS OLAP не подходит под эту задачу - Вы можете себе представить кубы на 60 миллионов записей в сутки ? С чего Вы это решили? Уважаемый ASCRUS Вы можете себе представить, что есть куб? Ведь речь идет о построении аналитических запросов, т.е. куб будет иметь в себе все возможные измерения с заранее предрасчитанными всеми возможными значениями. При использовании HOLAP модели хранилища (когда непосредственно на OLAP сервере хранятся только расчитанные агрегаты, а исходные транзакционные данные будут лежать в OLTP базе) запросы, которые будут обращаться только за агрегированными данными будут выполняться очень быстро (так как уже все расчитано) и не будут нагружать транзакционную базу. Если же понадобяться атомарные данные (drilldown до атомарной ячейки куба), то при такой модели хранилища за ними будет произведено обращение к OLTP базе. ASCRUSSybase IQ БД будет как минимум в 2 раза сжиматься физически на диске, у MS OLAP наоборот раздуваться. Господи, да почему же оно будет то раздуваться!? ASCRUSО чем тут дальше можно говорить ? О том, что Sybase IQ подходит под условия поставленной задачи, а MS OLAP нет - а не о том, что лучше, что хуже. Я не понимаю, зачем человека вводить в заблуждение, если Вы и сами это прекрасно знаете. И действительно, о чем тут можно говорить, если Вы, как и большинство в этом топике пытаетесь делать выводы о продукте, с возможностями которого Вы не знакомы. Ну ведь не делаю я выводы о том, что Sybase IQ не подойдет для этой задачи, ибо не знаком с его возможностями. Я стараюсь предложить варианты, о которых я имею представление. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 10:59 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
Я не буду вдаваться что лучше, что хуже, в Oracle Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы. Возможность коннекта к другим источникам информации (Oracle Stream). Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 12:29 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
2 alexey_tm1: Вы MCDBA или просто очень хороший знаток MSSQL? Подтвердите свои слова хоть чем-нибудь, пож-ста. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 12:35 |
|
||
|
Посоветуйте базу данных (Большой объем)
|
|||
|---|---|---|---|
|
#18+
alexey_tm1Внешние таблицы (текстовый файл, струтктурированный) обявляется и SQL запросы делаются прямо к файлу (с условиями) немного тормозит, так как нет возможности использовать индексы. Индексы у текстовых файлов?! 8) Вау... alexey_tm1Возможность коннекта к другим источникам информации (Oracle Stream). MS SQL имеет возможность коннекта ко всему, для чего существует ODBC драйвер или OLEDB провайдер. Плюс имеются возможности (DTS, bcp) для массовой быстрой и нелоггируемой закачки данных из этих источников. alexey_tm1Использовать MSSQL я бы не рекомендовал, с начала, возможно все будет работать, но со временем возникнут проблемы, которые решить неудасться, а переделать все будет невозможно. Для таких рекомендаций требуются обоснования!!! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.02.2005, 13:21 |
|
||
|
|

start [/forum/topic.php?all=1&fid=35&tid=1553953]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
43ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
78ms |
get tp. blocked users: |
2ms |
| others: | 197ms |
| total: | 364ms |

| 0 / 0 |
