Выбор БД под высоконагруженную задачу / Сравнение СУБД

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД под высоконагруженную задачу

51 сообщений из 51, показаны все 3 страниц

все

Выбор БД под высоконагруженную задачу

#35649255

Chapai

Гость

Помогите с выбором СУБД.

Критерии выбора (по убыванию значимости):
1. Быстродействие
2. Надежность (безпроблемный бэкап/восстановление в случае падения БД)
2. Масштабируемость.
4. Бесплатность (вдруг такое возможно :))
5. Простота администрирования
6. Windows-платформа (не обязательно)

Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.

...

Рейтинг:

0 / 0

12.11.2008, 14:39

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649283

Мимопроходящий

Участник

Откуда: бурятский тундрюк, эсквайр

Сообщения: 33 443

Рейтинг: 0 / 0

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.
очередной курсач...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

...

Рейтинг:

0 / 0

12.11.2008, 14:47

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649295

Chapai

Гость

Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.
очередной курсач...

--
With best regards, Мимопроходящий.

Очень хотелось бы чтобы так было на самом деле :)

...

Рейтинг:

0 / 0

12.11.2008, 14:49

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649315

Мимопроходящий

Участник

Откуда: бурятский тундрюк, эсквайр

Сообщения: 33 443

Рейтинг: 0 / 0

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

...

Рейтинг:

0 / 0

12.11.2008, 14:54

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649330

Chapai

Гость

Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом?

--
With best regards, Мимопроходящий.

Хуже батенька, хуже :)

Такую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок.
Оценка по количеству записей на основе примерной структуры будущей БД.

...

Рейтинг:

0 / 0

12.11.2008, 14:58

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649348

Мимопроходящий

Участник

Откуда: бурятский тундрюк, эсквайр

Сообщения: 33 443

Рейтинг: 0 / 0

Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

...

Рейтинг:

0 / 0

12.11.2008, 15:03

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649387

Chapai

Гость

Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.

Если я не знаю эту систему то:
Заказчик будет проинформирован о необходимости привлечения дополнительных ресурсов для выполнения поставленной задачи (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).

Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровня

...

Рейтинг:

0 / 0

12.11.2008, 15:13

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649405

Мимопроходящий

Участник

Откуда: бурятский тундрюк, эсквайр

Сообщения: 33 443

Рейтинг: 0 / 0

Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

...

Рейтинг:

0 / 0

12.11.2008, 15:16

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649420

Chapai

Гость

Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.

А по теме ни фига и не сказали

...

Рейтинг:

0 / 0

12.11.2008, 15:19

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649446

Мимопроходящий

Участник

Откуда: бурятский тундрюк, эсквайр

Сообщения: 33 443

Рейтинг: 0 / 0

Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:19:19 GMT:

Chapai C> А по теме ни фига и не сказалиа с мысл?
был бы курсач, тогда ещё можно скостить.
а так - сферический конь в вакууме... (С)

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4

...

Рейтинг:

0 / 0

12.11.2008, 15:24

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649539

Кифирчик

Участник

Откуда: СПб

Сообщения: 930

Рейтинг: 0 / 0

ChapaiПомогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата

...

Рейтинг:

0 / 0

12.11.2008, 15:48

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649712

locky

Участник

Откуда: Харьков, Украина

Сообщения: 66 149

Рейтинг: 0 / 0

Кифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

...

Рейтинг:

0 / 0

12.11.2008, 16:24

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649822

Chapai

Гость

КифирчикChapaiПомогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата

Структура записи (типовая): числа + текст. Количество полей в одной таблице не более 20. Blob/clob использовать не планируется.

Запросы - линейные и древовидные. Трехэтажных запросов с тяжелыми расчетами внутир пока не планируется.

Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).

Возможны batch update/insert но это очень редкий случай.

...

Рейтинг:

0 / 0

12.11.2008, 16:50

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649828

Chapai

Гость

locky,

посмотри п.4 критериев выбора СУБД.

Проблема в том что в случае выбора платной СУБД заказчику придется приводить железобетонные аргументы "ЗА" и давай полный расклад почему тоже самое нельзя повторить на бесплатной СУБД

...

Рейтинг:

0 / 0

12.11.2008, 16:51

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649892

miksoft

Участник

Сообщения: 36 746

Рейтинг: 0 / 0

ChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?

...

Рейтинг:

0 / 0

12.11.2008, 17:06

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35649965

Неизвестный

Гость

lockyКифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).

...

Рейтинг:

0 / 0

12.11.2008, 17:25

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650000

Chapai

Гость

miksoftChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?

Древовидные запросы: запросы вида select ... from connect by prior a=b

Одновременно работающие - одновременно обращающиеся к БД

...

Рейтинг:

0 / 0

12.11.2008, 17:32

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650008

Chapai

Гость

НеизвестныйlockyКифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).

А почему Вы считаете что тот же Sybase - экзотика?

Oracle - это конечно хорошо, НО стоимость их лицензий - немаленькая

...

Рейтинг:

0 / 0

12.11.2008, 17:34

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650019

miksoft

Участник

Сообщения: 36 746

Рейтинг: 0 / 0

ChapaiOracle - это конечно хорошо, НО стоимость их лицензий - немаленькаяПо сравнению с полной стоимостью проекта, думаю, не очень большая :)

...

Рейтинг:

0 / 0

12.11.2008, 17:36

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650028

Di_LIne

Участник

Откуда: Тропик Скорпиона

Сообщения: 48 256

Рейтинг: 0 / 0

ChapaiТакую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок .
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?

...

Рейтинг:

0 / 0

12.11.2008, 17:38

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650041

Chapai

Гость

Di_LIneChapaiТакую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок .
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?

Хотелось бы да я думаю что хрен дадут - коммерческая тайна.

...

Рейтинг:

0 / 0

12.11.2008, 17:42

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650052

miksoft

Участник

Сообщения: 36 746

Рейтинг: 0 / 0

ChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?

...

Рейтинг:

0 / 0

12.11.2008, 17:45

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650069

Chapai

Гость

miksoftChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?

Максимум ошибки - в 2-3 раза.

К сожалению(((

...

Рейтинг:

0 / 0

12.11.2008, 17:50

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650101

Кифирчик

Участник

Откуда: СПб

Сообщения: 930

Рейтинг: 0 / 0

ИМХО,
если в таблице 20 полей, и, допустим 2 их них int, а остальные char(100), то одна запись - 1,68кб
если предположить, что записей во всех таблицах... 5 млн. .. то база примерно 8гб... это всё конечно очень "примерно" но общую картину даёт... 7..12Гб база.. ну пусть 20гб...

активность пользователей - допустим 3тыс./мин, или 50 обращений в сек (miksoft я не понял как вы 108тыс получили?) не так то и много, и если это запросы простые, и, как сказал автор, будет сервер приложений... т.е. не так много подключений напрямую к СУБД, можно в случе наобходимости "демпфировать" нагрузку пользователей... вполне и постгрис справится

масштабирование: у постгреса есть свои фенечки... можно и средствами сервера приложений масштабироваться, научить чтобы с 2..3 серверами БД одновременно работал.. несколько серверов приложений, и по ним раскидывать пользователей...

правда не знаю как у постгриса с древовидными запросами
с другой стороны, понятно, что оракл и DB2 конечно круче... и так как есть сервер приложений, то много лицензий не надо )

...

Рейтинг:

0 / 0

12.11.2008, 18:04

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650114

miksoft

Участник

Сообщения: 36 746

Рейтинг: 0 / 0

ChapaiМаксимум ошибки - в 2-3 раза.

К сожалению(((Вы заявляете нагрузку, сравнимую со всем Яндексом (у того в среднем 2200 хитов в секунду за последние пять рабочих дней), и спрашиваете о выборе СУБД???
Я понимаю, что сложность Яндексовых хитов сильно больше вашей, но все равно вся картина похожа на некий сюрреализм.

...

Рейтинг:

0 / 0

12.11.2008, 18:12

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650127

miksoft

Участник

Сообщения: 36 746

Рейтинг: 0 / 0

Кифирчикактивность пользователей - допустим 3тыс./мин, или 50 обращений в сек (miksoft я не понял как вы 108тыс получили?)В том-то и дело, что автор заявляет о 3-4 тысячах одновременных обращениях к БД ( тынц ).
Одно обращение один пользователь производит один раз в 2,5 - 3 минуты.
Если принять среднюю длительность "обращения" в 5 секунд, то и получается 3000*(180/5)=108000.

...

Рейтинг:

0 / 0

12.11.2008, 18:19

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650194

locky

Участник

Откуда: Харьков, Украина

Сообщения: 66 149

Рейтинг: 0 / 0

НеизвестныйСколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2)

Sybase ASE - не экзотика, насчет Db2 - не уверен.

Неизвестныйи не масштабируемый за пределы Windows-сервера MS Sql Server

авторКритерии выбора (по убыванию значимости):
6. Windows-платформа (не обязательно)

...

Рейтинг:

0 / 0

12.11.2008, 18:53

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650200

locky

Участник

Откуда: Харьков, Украина

Сообщения: 66 149

Рейтинг: 0 / 0

Chapailocky,
посмотри п.4 критериев выбора СУБД.

авторКритерии выбора (по убыванию значимости):
1. Быстродействие
2. Надежность (безпроблемный бэкап/восстановление в случае падения БД)
2. Масштабируемость.
4. Бесплатность (вдруг такое возможно :))
Выберите любые 3(?).
Обратите внимание на смайлик после "вдруг такое возможно".

...

Рейтинг:

0 / 0

12.11.2008, 18:54

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650267

kdv

Участник

Откуда: iBase.ru

Сообщения: 30 139

Рейтинг: 0 / 0

авторЕсли принять среднюю длительность "обращения" в 5 секунд, то и получается 3000*(180/5)=108000.
позвольте. такие вычисления не катят.
если каждый из 3000 пользователей может (!) обратиться к БД в интервале до 3 минут, то это значит что частота поступления запросов будет от максимальной 3000 (если все ломанулись) в секунду, до минимальной 3000/180=17 запросов в секунду.

Длительность же запроса влияет на количество обрабатываемых в секунду запросов. Если все 3000 ломанулись, то будет максимум в 3000 запросов в течение искомых 5 секунд, но все равно 3000 запросов за одну секунду.

Если же взять минимум в 16 запросов в секунду, но постоянно, и каждый длительностью в 5 секунд, то тогда сервер будет загружен все время 17*5=85 одновременно выполняющимися запросами. Или, грубо говоря, получается что минимальное число запросов, которое сервер будет выполнять (а не принимать) - это 85 запросов каждую секунду.

так что 108000 запросов - это невесть откуда взявшаяся цифра.

...

Рейтинг:

0 / 0

12.11.2008, 19:37

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650290

miksoft

Участник

Сообщения: 36 746

Рейтинг: 0 / 0

kdvесли каждый из 3000 пользователей может (!) обратиться к БД в интервале до 3 минутВы как-то вольно трактуете слова топикстартера, хотя он написал достаточно однозначно...
3000 - это одновременные обращения к БД, а не в интервале до 3 минут.
Т.е. начиная с некоторого момента в первые 5 секунд будет обработано 3000 обращений. В следующие 5 секунд - еще 3000 обращений других пользователей. Еще в следующие 5 секунд - еще 3000 обращений еще других пользователей. И т.д.
Через 180 секунд/5 секунд=36 таких циклов те пользователи, которые производили обращение в первые 5 секунд проведут обращение повторно.

...

Рейтинг:

0 / 0

12.11.2008, 19:53

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650431

kdv

Участник

Откуда: iBase.ru

Сообщения: 30 139

Рейтинг: 0 / 0

miksoftВы как-то вольно трактуете слова топикстартера, хотя он написал достаточно однозначно...
3000 - это одновременные обращения к БД, а не в интервале до 3 минут.

ничего подобного, вот цитаты:

>3. Количество одновременно работающих пользователей - от 3-4 тыс.
>Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе)

там же дальше было уточнение про
>Одновременно работающие - одновременно обращающиеся к БД

впрочем, я не претендую на телепатическое толкование мыслей топикстартера :-)

лично я понял так - 3-4 тысячи пользователей, каждый с интервалом в 2.5-3 минуты выдает запрос (тыкает кнопку). Из чего и исходил в своих вычислениях.

...

Рейтинг:

0 / 0

12.11.2008, 22:27

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35650825

miksoft

Участник

Сообщения: 36 746

Рейтинг: 0 / 0

kdv>Одновременно работающие - одновременно обращающиеся к БД

каждый с интервалом в 2.5-3 минуты выдает запрос (тыкает кнопку)Хм, цитируете правильно, но тут же пересказываете неправильно.
"с интервалом в 2.5-3 минуты" ну ни как не похоже на "одновременно". Точнее говоря, похоже, но только если предположить, что среднее обращение имеет длительность в те же 2.5-3 минуты.

...

Рейтинг:

0 / 0

13.11.2008, 09:58

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35653289

DPH

Гость

Ау, топикстартер :)
Так какая нагрузка по запросам-то?

Реально интересует:
1) число изменений в секунду (в транзакциях, с примерной оценкой сложности транзакции)
2) число запросов на чтение в секунду (с оценкой сложности запроса и возможности кэширования результата).
3) требуемый уровень надежности (три девятки или пять девяток)
4) на чем трехзвенка (это тоже имеет значение, как не смешно)
5) примерные сроки проекта

Ну и потом мы коллективно что-нибудь скажем :)

А вообще, стандартный совет - найми консультанта, в итоге дешевле будет :)

...

Рейтинг:

0 / 0

14.11.2008, 04:58

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35655376

Dimitry Sibiryakov

Участник

Сообщения: 54 521

Рейтинг: 0 / 0

DPHНу и потом мы коллективно что-нибудь скажем :)

Да что тут думать?.. Раз топикстартер знает оракула - пусть и делает на
оракуле. Переучиваться куда-либо будет больно и, в-общем-то, бесполезно.
Posted via ActualForum NNTP Server 1.4

...

Рейтинг:

0 / 0

14.11.2008, 19:34

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35655437

Выбегалло

Участник

Откуда: Scottsdale, AZ, USA

Сообщения: 3 653

Рейтинг: 0 / 0

lockyКифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

не обязательно. На таком объеме данных и с таким числом юзеров можно попробовать новомодные in-memory и приближенные к ним СУБД - TimesTen от Оракла, solidDB от IDB, Genero DB.

...

Рейтинг:

0 / 0

14.11.2008, 20:30

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35655673

DPH

Гость

Dimitry Sibiryakov
Да что тут думать?.. Раз топикстартер знает оракула - пусть и делает на
оракуле. Переучиваться куда-либо будет больно и, в-общем-то, бесполезно.

А это смотря какие требования и какой бюджет. А то окажется, что честное решение на порядок больше бюджета (что для Оракла может легко получиться) - и придется таки думать, чем заменить.

Все-таки, Оракл почти всегда - самое дорогое из возможных решений.

...

Рейтинг:

0 / 0

15.11.2008, 00:16

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35655698

Anton Demidov

Участник

Откуда: Atlanta, GA

Сообщения: 1 177

Рейтинг: 0 / 0

DPHА то окажется, что честное решение на порядок больше бюджета (что для Оракла может легко получиться) - и придется таки думать, чем заменить.

Все-таки, Оракл почти всегда - самое дорогое из возможных решений.
Не удержался, чтоб не наехать на Оракл, да?
Впрочем, если твой доход зависит от уровня продаж/поддержки IBM DB2, то понять можно. По служебному положению конкурента обс#рать положено. Успехов.

...

Рейтинг:

0 / 0

15.11.2008, 01:01

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35656908

DPH

Гость

DPHНе удержался, чтоб не наехать на Оракл, да?
Впрочем, если твой доход зависит от уровня продаж/поддержки IBM DB2, то понять можно.

Ну почему сразу "наехать" :) Просто высказать свое личное мнение. Именно личное - я с компанией IBM никак не связан. Более того, сейчас на работе использую именно Oracle.

Скорее, мне не нравиться безальтернативность в большей части высказываемых суждений. Есть куча задач, где Oracle - действительно оптимальное решение. Есть куча задач, где Oracle будет только вреден. Ну и еще больше задач, которые почти все равно на чем делать и главное - это общая стоимость решения. И при рекомендации конкретного сервера неплохо бы сначала выяснить, что именно человеку нужно - а уже потом рекомендовать :)

P.S. Хотя, конечно, чем больше на рынке будет решений на DB2, тем проще мне будет для какого-нибудь очередном проекте найти DBA с опытом, а не выращивать его самому - тем самым уменьшить общую стоимость проекта.

...

Рейтинг:

0 / 0

17.11.2008, 03:24

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35658612

АнатоЛой

Участник

Откуда: Киев, Украина

Сообщения: 2 910

Рейтинг: 0 / 0

Читал... Думал... А почему DB2 от IBM рассматривали, а вариант IBM Informix Dynamix Server 11.50 с интегрированным in-memory DB (SolidDB) и кластеризацией MACH11 - по боку?
Из плюсов: самим IBM именно он позиционируется как "порву всех на OLTP" :)
Из минусов: нет бесплатного варианта, но вариант с лицензирование по процессорам при таком количестве пользователей должен быть приемлемым... Ну и бесплатный Developer Edition под разработку...

...

Рейтинг:

0 / 0

17.11.2008, 17:48

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35658617

АнатоЛой

Участник

Откуда: Киев, Украина

Сообщения: 2 910

Рейтинг: 0 / 0

П.С.: При желании отдельные вопросы конкретно по Informix можно задавать на этом же sql.ru в форуме Informix...

...

Рейтинг:

0 / 0

17.11.2008, 17:49

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35658961

dph

Гость

АнатоЛойЧитал... Думал... А почему DB2 от IBM рассматривали, а вариант IBM Informix Dynamix Server 11.50 с интегрированным in-memory DB (SolidDB) и кластеризацией MACH11 - по боку?

Ну, я рекомендую только то, с чем имел дело.
Кстати, а сколько стоит лицензия с включенной SolidDB на процессор? Разрешающая использование в web?

...

Рейтинг:

0 / 0

17.11.2008, 20:29

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35659019

АнатоЛой

Участник

Откуда: Киев, Украина

Сообщения: 2 910

Рейтинг: 0 / 0

dph
Ну, я рекомендую только то, с чем имел дело.

Если в таком контексте, каюсь: с SolidDB сам лично не сталкивался реально ни разу, с MACH11 - только в одной из вариаций - "горячая" репликация на один вторичный "read-only" сервер...
И тем не менее:
Customizing the Informix Dynamic Server for Your Environment

IBM solidDB V6.1 in-memory database extends IBM Data Management portfolio

dph
Кстати, а сколько стоит лицензия с включенной SolidDB на процессор? Разрешающая использование в web?
В таких деталях даже и не скажу...

Про SolidDB знаю, что нужен IDS Enterprise Edition 11.50 или 11.10, лицензия идёт именно per-processor (с коэффициентами для конкретного типа процессоров), при этом не знаю, лицензируется ли SolidDB дополнительно.

Никаких ограничений на "использование в web" ни разу в лицензиях Informix не встречал...

Без SolidDB 1 PVU (processor value unit) стоил в районе 300$. Для наиболее популярных процов одно ЯДРО оценивается в 50 PVU (Я надеюсь, что я ничего не попутал :)
http://www-01.ibm.com/software/lotus/passportadvantage/pvu_licensing_for_customers.html]Processor Value Unit [PVU] licensing for Distributed SW Updated September 17, 2008

Всё остальные вопросы лучше к дистрибьютору IBM в стране или в форум sqlru.Informix %)

...

Рейтинг:

0 / 0

17.11.2008, 21:16

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35659026

АнатоЛой

Участник

Откуда: Киев, Украина

Сообщения: 2 910

Рейтинг: 0 / 0

Да, кстати, SolidDB есть и под DB2... И сам по себе :)... Но СУБД под OLTP от IBM - именно Informix!)

...

Рейтинг:

0 / 0

17.11.2008, 21:19

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35659310

DPH

Гость

А, я думал, есть специальное решение с Informix+SolidDB, достаточно дешевое.
Так-то и Informix не дешевый, да и SolidDB тоже дорогая технология (как и TimesTen, впрочем)

Вообще, для малых и средних проектов пока, вроде бы, ничего лучше DB2 Express C так и нет. По отношению цене к качеству, понятное дело.

А вот понять, какой проект у топикстартера - увы, не получается...

...

Рейтинг:

0 / 0

18.11.2008, 02:38

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35709375

немой

Участник

Откуда: от туда.

Сообщения: 66

Рейтинг: 0 / 0

Chapai
Структура записи (типовая): числа + текст.

Что есть "типовая" ? number integer double и т.т есть числа, но размер и поведение разное - с этим пояснением никак.
Chapai
Количество полей в одной таблице не более 20. Blob/clob использовать не планируется.

Из первого пояснения - может быть и 50 полей по byte намного меньше чем 20 varchar.
Chapai
Запросы - линейные и древовидные. Трехэтажных запросов с тяжелыми расчетами внутир пока не планируется.

???? что есть линейность и древовидность в контексте трехэтажности?
Chapai
Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).
Возможны batch update/insert но это очень редкий случай.
т.е. это приложение для одного пользователя?
--------------------------
я это все к тому, что Вы просто еще не определились что считать, как считать и что вообще надо.
Обычно, строится логическая модель без привязки к конкретной СУБД.. А уж потом, можно сделать реальную оценку и как следствие - вывод о целесообразности той или иной СУБД.
К тому же, логическую модель реализовать можно на любой СУБД, а основное время тратится на разработку правильной модели дабы потом не было мучительно долго лепить project`s :)

...

Рейтинг:

0 / 0

11.12.2008, 21:31

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35713190

AAron

Участник

Откуда: Москва

Сообщения: 3 518

Рейтинг: 0 / 0

при выборе СУБД не забывайте считать и стоимость железа, бо для разных СУБД может потребоваться несколько разное железо. мы тут считали недавно сервера от IBM под IBM - 1 сервер под 1 лям баксов выходит.

...

Рейтинг:

0 / 0

14.12.2008, 15:25

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35713370

S.G.

Участник

Откуда: cartoon network

Сообщения: 30 700

Рейтинг: 0 / 0

Chapai
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.

Chapai
Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).

Возможны batch update/insert но это очень редкий случай.
Гм, а откуда может взяться экспоненциальный рост объемов данных? Имхо, N пользователей, вбивающих данные с клавиатуры, могут увеличивать объем только линейно. А некий автоматический ввод- редкое явление по словам автора.

...

Рейтинг:

0 / 0

14.12.2008, 18:25

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35714731

Favn

Гость

AAronпри выборе СУБД не забывайте считать и стоимость железа, бо для разных СУБД может потребоваться несколько разное железо. мы тут считали недавно сервера от IBM под IBM - 1 сервер под 1 лям баксов выходит.Простите, сколько-сколько? Это что же за сервера такие? Нет, конечно, можно монстра и на сотни лямов наконфигурячить при желании, если места в top-100 покоя не дают. Но уж никак не для
Chapai1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.Это хозяйство с пулом, если грамотно делать, и бесплатный Express-C потянет, не говоря об отн. дешевых DB2 Express/Workgroup, на простом x86-сервере с хорошей дисковой подсистемой. А DB2 работает на почти любом железе, не только IBM, мейнфреймы - опция

...

Рейтинг:

0 / 0

15.12.2008, 14:39

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35714947

AAron

Участник

Откуда: Москва

Сообщения: 3 518

Рейтинг: 0 / 0

FavnAAronпри выборе СУБД не забывайте считать и стоимость железа, бо для разных СУБД может потребоваться несколько разное железо. мы тут считали недавно сервера от IBM под IBM - 1 сервер под 1 лям баксов выходит.Простите, сколько-сколько? Это что же за сервера такие? Нет, конечно, можно монстра и на сотни лямов наконфигурячить при желании, если места в top-100 покоя не дают. Но уж никак не для
Chapai1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.Это хозяйство с пулом, если грамотно делать, и бесплатный Express-C потянет, не говоря об отн. дешевых DB2 Express/Workgroup, на простом x86-сервере с хорошей дисковой подсистемой. А DB2 работает на почти любом железе, не только IBM, мейнфреймы - опция
вот тут и начинается - хорошая дисковая подсистема, возможность масштабирования по процессорам, памяти и т.п.
я думаю, что это не секрет, чем больше процессорных сокетов тем сервер дороже. если собирать сервер на 64 сокета, то п...ц как дорого... причем это рекомендации IBM.
что касается данного случая - я лишь посоветовал учитывать, что железо может несколько варьироваться в зависимости от выбранной СУБД. в любом случае, 3 тыс. одновременных пользователей потребуют ресурсов операционной системы и СУБД просто на их поддержание. не говоря уже об исполнении запросов.

...

Рейтинг:

0 / 0

15.12.2008, 15:40

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35715087

db2man

Гость

авторесли собирать сервер на 64 сокета, то п...ц как дорого... причем это рекомендации IBM.
Нет у IBM сервера на 64 сокета , 64 ядра есть, 64 сокета - нет :)
А IBM он такой, емуб лишь бы впарить :) Но можно выбить скидку, если очень нужно, особенно если в разговоре с аккаунтом упоминать страшные слова типа HP или SUN
Если не секрет, для какой задачи IBM "нарекомендовал" POWER 595 ? Или речь про x3950M2 ?

...

Рейтинг:

0 / 0

15.12.2008, 16:20

| Ответить | Цитировать | Написать

Выбор БД под высоконагруженную задачу

#35716995

DPH

Гость

[quot]
вот тут и начинается - хорошая дисковая подсистема, возможность масштабирования по процессорам, памяти и т.п.
[/quot]
А зачем сразу покупать большой сервер, если он не нужен? Вот когда нагрузка вырастет и он понадобиться - тогда и купить. А закупать железо с расчетом на светлое будущее - это просто деньги выбрасывать (или бюджет осваивать).

[quot]
что касается данного случая - я лишь посоветовал учитывать, что железо может несколько варьироваться в зависимости от выбранной СУБД. в любом случае, 3 тыс. одновременных пользователей потребуют ресурсов операционной системы и СУБД просто на их поддержание. не говоря уже об исполнении запросов.
[/quot]
Гм. Уж для первой тройки СУБД стоимость железа для одинаковой нагрузки будет примерно равна. Там есть тонкости в распределении стоимости по разным компонентам, но значительную разницу увидеть будет сложно (и, подозреваю, что разница будет в пользу DB2).
А уж количество пользователей на ресурсы СУБД мало влияют, они все на applayer останутся. Вот число одновременных соединений - да, существенно, в первую очередь по памяти.

...

Рейтинг:

0 / 0

16.12.2008, 13:19

| Ответить | Цитировать | Написать

51 сообщений из 51, показаны все 3 страниц

все

Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД под высоконагруженную задачу

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?all=1&fid=35&tid=1553012]:	0ms
get settings:	11ms
get forum list:	14ms
check forum access:	4ms
check topic access:	4ms
track hit:	45ms
get topic data:	10ms
get forum data:	2ms
get page messages:	75ms
get tp. blocked users:	1ms
others:	11ms

total:	177ms