|
|
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Помогите с выбором СУБД. Критерии выбора (по убыванию значимости): 1. Быстродействие 2. Надежность (безпроблемный бэкап/восстановление в случае падения БД) 2. Масштабируемость. 4. Бесплатность (вдруг такое возможно :)) 5. Простота администрирования 6. Windows-платформа (не обязательно) Входные условия: 1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного 2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента. 3. Количество одновременно работающих пользователей - от 3-4 тыс. 4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза. 5. Объемы выборок относительно общих объемов данных небольшие - ~0,1% 6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 14:39 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Hello, Chapai! You wrote on Wed, 12 Nov 08 11:39:18 GMT: Chapai C> на первый этап. Дальнейший рост - экспонента. C> 3. Количество одновременно работающих пользователей - от 3-4 тыс. очередной курсач... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 14:47 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, Chapai! You wrote on Wed, 12 Nov 08 11:39:18 GMT: Chapai C> на первый этап. Дальнейший рост - экспонента. C> 3. Количество одновременно работающих пользователей - от 3-4 тыс. очередной курсач... -- With best regards, Мимопроходящий. Очень хотелось бы чтобы так было на самом деле :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 14:49 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Hello, Chapai! You wrote on Wed, 12 Nov 08 11:49:49 GMT: Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом? -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 14:54 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, Chapai! You wrote on Wed, 12 Nov 08 11:49:49 GMT: Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом? -- With best regards, Мимопроходящий. Хуже батенька, хуже :) Такую постановку получил от заказчика. Оценка по количеству пользователей - дана заказчиком на основе его выкладок. Оценка по количеству записей на основе примерной структуры будущей БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 14:58 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Hello, Chapai! You wrote on Wed, 12 Nov 08 11:58:07 GMT: Chapai C> Хуже батенька, хуже :) C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта? -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 15:03 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, Chapai! You wrote on Wed, 12 Nov 08 11:58:07 GMT: Chapai C> Хуже батенька, хуже :) C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта? -- With best regards, Мимопроходящий. Если я не знаю эту систему то: Заказчик будет проинформирован о необходимости привлечения дополнительных ресурсов для выполнения поставленной задачи (люди приходят, вникают в задачи, делают свою работу и получают за это деньги). Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровня ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 15:13 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Hello, Chapai! You wrote on Wed, 12 Nov 08 12:13:39 GMT: Chapai C> Если я не знаю эту систему то: C> Заказчик будет проинформирован о необходимости привлечения дополнительных C> ресурсов для выполнения поставленной задачи C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги). C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею. начни с поиска работы... -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 15:16 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Мимопроходящий Hello, Chapai! You wrote on Wed, 12 Nov 08 12:13:39 GMT: Chapai C> Если я не знаю эту систему то: C> Заказчик будет проинформирован о необходимости привлечения дополнительных C> ресурсов для выполнения поставленной задачи C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги). C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею. начни с поиска работы... -- With best regards, Мимопроходящий. А по теме ни фига и не сказали ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 15:19 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Hello, Chapai! You wrote on Wed, 12 Nov 08 12:19:19 GMT: Chapai C> А по теме ни фига и не сказалиа с мысл? был бы курсач, тогда ещё можно скостить. а так - сферический конь в вакууме... (С) -- With best regards, Мимопроходящий. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 15:24 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
ChapaiПомогите с выбором СУБД. Входные условия: 1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного 2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента. 3. Количество одновременно работающих пользователей - от 3-4 тыс. 4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза. 5. Объемы выборок относительно общих объемов данных небольшие - ~0,1% 6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений. сильно размыто... п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят ) когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 15:48 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Кифирчикпрорисуется 2..4 кандидата Oracle, MS Sql Server, Sybase ASE, DB2. Уже прорисовались. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 16:24 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
КифирчикChapaiПомогите с выбором СУБД. Входные условия: 1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного 2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента. 3. Количество одновременно работающих пользователей - от 3-4 тыс. 4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза. 5. Объемы выборок относительно общих объемов данных небольшие - ~0,1% 6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений. сильно размыто... п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят ) когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата Структура записи (типовая): числа + текст. Количество полей в одной таблице не более 20. Blob/clob использовать не планируется. Запросы - линейные и древовидные. Трехэтажных запросов с тяжелыми расчетами внутир пока не планируется. Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Возможны batch update/insert но это очень редкий случай. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 16:50 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
locky, посмотри п.4 критериев выбора СУБД. Проблема в том что в случае выбора платной СУБД заказчику придется приводить железобетонные аргументы "ЗА" и давай полный расклад почему тоже самое нельзя повторить на бесплатной СУБД ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 16:51 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
ChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД. ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:06 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
lockyКифирчикпрорисуется 2..4 кандидата Oracle, MS Sql Server, Sybase ASE, DB2. Уже прорисовались. Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:25 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
miksoftChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД. ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ? Древовидные запросы: запросы вида select ... from connect by prior a=b Одновременно работающие - одновременно обращающиеся к БД ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:32 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
НеизвестныйlockyКифирчикпрорисуется 2..4 кандидата Oracle, MS Sql Server, Sybase ASE, DB2. Уже прорисовались. Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы). А почему Вы считаете что тот же Sybase - экзотика? Oracle - это конечно хорошо, НО стоимость их лицензий - немаленькая ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:34 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
ChapaiOracle - это конечно хорошо, НО стоимость их лицензий - немаленькаяПо сравнению с полной стоимостью проекта, думаю, не очень большая :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:36 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
ChapaiТакую постановку получил от заказчика. Оценка по количеству пользователей - дана заказчиком на основе его выкладок . Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:38 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
Di_LIneChapaiТакую постановку получил от заказчика. Оценка по количеству пользователей - дана заказчиком на основе его выкладок . Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел? Хотелось бы да я думаю что хрен дадут - коммерческая тайна. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:42 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
ChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются. Вы уверены, что в исходных данных нет ошибки порядка на два-три? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:45 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
miksoftChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются. Вы уверены, что в исходных данных нет ошибки порядка на два-три? Максимум ошибки - в 2-3 раза. К сожалению((( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 17:50 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
ИМХО, если в таблице 20 полей, и, допустим 2 их них int, а остальные char(100), то одна запись - 1,68кб если предположить, что записей во всех таблицах... 5 млн. .. то база примерно 8гб... это всё конечно очень "примерно" но общую картину даёт... 7..12Гб база.. ну пусть 20гб... активность пользователей - допустим 3тыс./мин, или 50 обращений в сек (miksoft я не понял как вы 108тыс получили?) не так то и много, и если это запросы простые, и, как сказал автор, будет сервер приложений... т.е. не так много подключений напрямую к СУБД, можно в случе наобходимости "демпфировать" нагрузку пользователей... вполне и постгрис справится масштабирование: у постгреса есть свои фенечки... можно и средствами сервера приложений масштабироваться, научить чтобы с 2..3 серверами БД одновременно работал.. несколько серверов приложений, и по ним раскидывать пользователей... правда не знаю как у постгриса с древовидными запросами с другой стороны, понятно, что оракл и DB2 конечно круче... и так как есть сервер приложений, то много лицензий не надо ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 18:04 |
|
||
|
Выбор БД под высоконагруженную задачу
|
|||
|---|---|---|---|
|
#18+
ChapaiМаксимум ошибки - в 2-3 раза. К сожалению(((Вы заявляете нагрузку, сравнимую со всем Яндексом (у того в среднем 2200 хитов в секунду за последние пять рабочих дней), и спрашиваете о выборе СУБД??? Я понимаю, что сложность Яндексовых хитов сильно больше вашей, но все равно вся картина похожа на некий сюрреализм. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2008, 18:12 |
|
||
|
|

start [/forum/topic.php?fid=35&msg=35649387&tid=1553012]: |
0ms |
get settings: |
12ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
49ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
| others: | 15ms |
| total: | 169ms |

| 0 / 0 |
