Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД под высоконагруженную задачу / 25 сообщений из 51, страница 1 из 3
12.11.2008, 14:39
    #35649255
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Помогите с выбором СУБД.

Критерии выбора (по убыванию значимости):
1. Быстродействие
2. Надежность (безпроблемный бэкап/восстановление в случае падения БД)
2. Масштабируемость.
4. Бесплатность (вдруг такое возможно :))
5. Простота администрирования
6. Windows-платформа (не обязательно)

Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
...
Рейтинг: 0 / 0
12.11.2008, 14:47
    #35649283
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.
очередной курсач...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
12.11.2008, 14:49
    #35649295
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.
очередной курсач...

--
With best regards, Мимопроходящий.



Очень хотелось бы чтобы так было на самом деле :)
...
Рейтинг: 0 / 0
12.11.2008, 14:54
    #35649315
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
12.11.2008, 14:58
    #35649330
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом?

--
With best regards, Мимопроходящий.



Хуже батенька, хуже :)

Такую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок.
Оценка по количеству записей на основе примерной структуры будущей БД.
...
Рейтинг: 0 / 0
12.11.2008, 15:03
    #35649348
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
12.11.2008, 15:13
    #35649387
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.



Если я не знаю эту систему то:
Заказчик будет проинформирован о необходимости привлечения дополнительных ресурсов для выполнения поставленной задачи (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).

Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровня
...
Рейтинг: 0 / 0
12.11.2008, 15:16
    #35649405
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
12.11.2008, 15:19
    #35649420
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.



А по теме ни фига и не сказали
...
Рейтинг: 0 / 0
12.11.2008, 15:24
    #35649446
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:19:19 GMT:

Chapai C> А по теме ни фига и не сказалиа с мысл?
был бы курсач, тогда ещё можно скостить.
а так - сферический конь в вакууме... (С)

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
12.11.2008, 15:48
    #35649539
Кифирчик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
ChapaiПомогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата
...
Рейтинг: 0 / 0
12.11.2008, 16:24
    #35649712
locky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Кифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.
...
Рейтинг: 0 / 0
12.11.2008, 16:50
    #35649822
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
КифирчикChapaiПомогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата

Структура записи (типовая): числа + текст. Количество полей в одной таблице не более 20. Blob/clob использовать не планируется.

Запросы - линейные и древовидные. Трехэтажных запросов с тяжелыми расчетами внутир пока не планируется.

Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).

Возможны batch update/insert но это очень редкий случай.
...
Рейтинг: 0 / 0
12.11.2008, 16:51
    #35649828
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
locky,

посмотри п.4 критериев выбора СУБД.

Проблема в том что в случае выбора платной СУБД заказчику придется приводить железобетонные аргументы "ЗА" и давай полный расклад почему тоже самое нельзя повторить на бесплатной СУБД
...
Рейтинг: 0 / 0
12.11.2008, 17:06
    #35649892
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
ChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?
...
Рейтинг: 0 / 0
12.11.2008, 17:25
    #35649965
Выбор БД под высоконагруженную задачу
lockyКифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).
...
Рейтинг: 0 / 0
12.11.2008, 17:32
    #35650000
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
miksoftChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?

Древовидные запросы: запросы вида select ... from connect by prior a=b

Одновременно работающие - одновременно обращающиеся к БД
...
Рейтинг: 0 / 0
12.11.2008, 17:34
    #35650008
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
НеизвестныйlockyКифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).

А почему Вы считаете что тот же Sybase - экзотика?

Oracle - это конечно хорошо, НО стоимость их лицензий - немаленькая
...
Рейтинг: 0 / 0
12.11.2008, 17:36
    #35650019
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
ChapaiOracle - это конечно хорошо, НО стоимость их лицензий - немаленькаяПо сравнению с полной стоимостью проекта, думаю, не очень большая :)
...
Рейтинг: 0 / 0
12.11.2008, 17:38
    #35650028
Di_LIne
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
ChapaiТакую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок .
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?
...
Рейтинг: 0 / 0
12.11.2008, 17:42
    #35650041
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
Di_LIneChapaiТакую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок .
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?

Хотелось бы да я думаю что хрен дадут - коммерческая тайна.
...
Рейтинг: 0 / 0
12.11.2008, 17:45
    #35650052
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
ChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?
...
Рейтинг: 0 / 0
12.11.2008, 17:50
    #35650069
Chapai
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
miksoftChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?

Максимум ошибки - в 2-3 раза.

К сожалению(((
...
Рейтинг: 0 / 0
12.11.2008, 18:04
    #35650101
Кифирчик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
ИМХО,
если в таблице 20 полей, и, допустим 2 их них int, а остальные char(100), то одна запись - 1,68кб
если предположить, что записей во всех таблицах... 5 млн. .. то база примерно 8гб... это всё конечно очень "примерно" но общую картину даёт... 7..12Гб база.. ну пусть 20гб...

активность пользователей - допустим 3тыс./мин, или 50 обращений в сек (miksoft я не понял как вы 108тыс получили?) не так то и много, и если это запросы простые, и, как сказал автор, будет сервер приложений... т.е. не так много подключений напрямую к СУБД, можно в случе наобходимости "демпфировать" нагрузку пользователей... вполне и постгрис справится

масштабирование: у постгреса есть свои фенечки... можно и средствами сервера приложений масштабироваться, научить чтобы с 2..3 серверами БД одновременно работал.. несколько серверов приложений, и по ним раскидывать пользователей...

правда не знаю как у постгриса с древовидными запросами
с другой стороны, понятно, что оракл и DB2 конечно круче... и так как есть сервер приложений, то много лицензий не надо )
...
Рейтинг: 0 / 0
12.11.2008, 18:12
    #35650114
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор БД под высоконагруженную задачу
ChapaiМаксимум ошибки - в 2-3 раза.

К сожалению(((Вы заявляете нагрузку, сравнимую со всем Яндексом (у того в среднем 2200 хитов в секунду за последние пять рабочих дней), и спрашиваете о выборе СУБД???
Я понимаю, что сложность Яндексовых хитов сильно больше вашей, но все равно вся картина похожа на некий сюрреализм.
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД под высоконагруженную задачу / 25 сообщений из 51, страница 1 из 3
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]