powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД под высоконагруженную задачу
25 сообщений из 51, страница 1 из 3
Выбор БД под высоконагруженную задачу
    #35649255
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Помогите с выбором СУБД.

Критерии выбора (по убыванию значимости):
1. Быстродействие
2. Надежность (безпроблемный бэкап/восстановление в случае падения БД)
2. Масштабируемость.
4. Бесплатность (вдруг такое возможно :))
5. Простота администрирования
6. Windows-платформа (не обязательно)

Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649283
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.
очередной курсач...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649295
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:39:18 GMT:

Chapai C> на первый этап. Дальнейший рост - экспонента.
C> 3. Количество одновременно работающих пользователей - от 3-4 тыс.
очередной курсач...

--
With best regards, Мимопроходящий.



Очень хотелось бы чтобы так было на самом деле :)
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649315
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649330
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:49:49 GMT:

Chapai C> Очень хотелось бы чтобы так было на самом деле :)неужели диплом?

--
With best regards, Мимопроходящий.



Хуже батенька, хуже :)

Такую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок.
Оценка по количеству записей на основе примерной структуры будущей БД.
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649348
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649387
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 11:58:07 GMT:

Chapai C> Хуже батенька, хуже :)
C> Такую постановку получил от заказчика.и освоишь любую СУБД до уровня эксперта в рамках проекта?

--
With best regards, Мимопроходящий.



Если я не знаю эту систему то:
Заказчик будет проинформирован о необходимости привлечения дополнительных ресурсов для выполнения поставленной задачи (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).

Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровня
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649405
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649420
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Мимопроходящий
Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:13:39 GMT:

Chapai C> Если я не знаю эту систему то:
C> Заказчик будет проинформирован о необходимости привлечения дополнительных
C> ресурсов для выполнения поставленной задачи
C> (люди приходят, вникают в задачи, делают свою работу и получают за это деньги).
C> Если знания по этой СУБД есть то буду дотягивать их до соответствующего уровнявопросов больше не имею.
начни с поиска работы...

--
With best regards, Мимопроходящий.



А по теме ни фига и не сказали
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649446
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hello, Chapai!
You wrote on Wed, 12 Nov 08 12:19:19 GMT:

Chapai C> А по теме ни фига и не сказалиа с мысл?
был бы курсач, тогда ещё можно скостить.
а так - сферический конь в вакууме... (С)

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649539
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChapaiПомогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649712
locky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649822
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
КифирчикChapaiПомогите с выбором СУБД.
Входные условия:
1. Чистый OLTP. Без всяких заморочек типа отчетов и тому подобного
2. Объемы данных. ~40000 тыс.записей в основной таблице, объем данных в связанных с ней таблицах - как максимум по 3-4 млн. Это на первый этап. Дальнейший рост - экспонента.
3. Количество одновременно работающих пользователей - от 3-4 тыс.
4. Характер операций - в основном select, insert. Update и delete меньше примерно в 2-3 раза.
5. Объемы выборок относительно общих объемов данных небольшие - ~0,1%
6. Организация ПО - трехзвенка. Т.е. возможно сделать пул подключений на уровне сервера приложений.
сильно размыто...
п.2 - запись может быть int, а может быть и varchar(255) или blob... соответственно то ,что их просто 3..4 миллиона это не очём не говорит, нужно примерное описание таблиц
п.3 - пользователь может сидеить, и тыкать программу два раза в час, а может каждую минуту запрашить чё-нить и тут-же записывать/обновлять, опишите характер и частоту запросов

опишите свою задачу подробнее, и наши гуру вам с удовольстивем ответят )

когда станет понятно, с какими объёмими и с какой интенсивностью придётся работать СУБД, прорисуется 2..4 кандидата

Структура записи (типовая): числа + текст. Количество полей в одной таблице не более 20. Blob/clob использовать не планируется.

Запросы - линейные и древовидные. Трехэтажных запросов с тяжелыми расчетами внутир пока не планируется.

Интенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе).

Возможны batch update/insert но это очень редкий случай.
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649828
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
locky,

посмотри п.4 критериев выбора СУБД.

Проблема в том что в случае выбора платной СУБД заказчику придется приводить железобетонные аргументы "ЗА" и давай полный расклад почему тоже самое нельзя повторить на бесплатной СУБД
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649892
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35649965
lockyКифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650000
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftChapaiЗапросы - линейные и древовидные.Что в вашем понимании "древовидные" запросы? Если это иерархические, то учтите, что они есть не во всех СУБД.
ChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?

Древовидные запросы: запросы вида select ... from connect by prior a=b

Одновременно работающие - одновременно обращающиеся к БД
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650008
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
НеизвестныйlockyКифирчикпрорисуется 2..4 кандидата
Oracle, MS Sql Server, Sybase ASE, DB2.
Уже прорисовались.

Сколько не выбирай, а если отбросить экзотику в условиях России (Sybase ASE, DB2) и не масштабируемый за пределы Windows-сервера MS Sql Server, то останется все тот же самый Oracle. Выбор есть, но он сводиться в конечном итоге к одному пункту (для корпоративных систем с большой нагрузкой, производительностью и масштабируемостью на более мощные чем под Windows серверы).

А почему Вы считаете что тот же Sybase - экзотика?

Oracle - это конечно хорошо, НО стоимость их лицензий - немаленькая
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650019
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChapaiOracle - это конечно хорошо, НО стоимость их лицензий - немаленькаяПо сравнению с полной стоимостью проекта, думаю, не очень большая :)
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650028
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChapaiТакую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок .
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650041
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Di_LIneChapaiТакую постановку получил от заказчика.

Оценка по количеству пользователей - дана заказчиком на основе его выкладок .
Кхм-кхм... А хто-нить проверял или ваапче их в глаза видел?

Хотелось бы да я думаю что хрен дадут - коммерческая тайна.
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650052
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650069
Chapai
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftChapaimiksoftChapaiИнтенсивность - 1 пользователь обращается к БД примерно с промежутками в 2,5 - 3 минуты (если речь идет о нормальной работе). Chapai3. Количество одновременно работающих пользователей - от 3-4 тыс."Одновременно работающие" - это открытые сессии или "обращение" ?Одновременно работающие - одновременно обращающиеся к БДДопустим, одно "обращение" идет 5 секунд. Тогда получается, что одноврменно 3000*(180/5)=108000 пользователей держат у себя некую запущенную программу и что-то там ковыряются.
Вы уверены, что в исходных данных нет ошибки порядка на два-три?

Максимум ошибки - в 2-3 раза.

К сожалению(((
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650101
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ИМХО,
если в таблице 20 полей, и, допустим 2 их них int, а остальные char(100), то одна запись - 1,68кб
если предположить, что записей во всех таблицах... 5 млн. .. то база примерно 8гб... это всё конечно очень "примерно" но общую картину даёт... 7..12Гб база.. ну пусть 20гб...

активность пользователей - допустим 3тыс./мин, или 50 обращений в сек (miksoft я не понял как вы 108тыс получили?) не так то и много, и если это запросы простые, и, как сказал автор, будет сервер приложений... т.е. не так много подключений напрямую к СУБД, можно в случе наобходимости "демпфировать" нагрузку пользователей... вполне и постгрис справится

масштабирование: у постгреса есть свои фенечки... можно и средствами сервера приложений масштабироваться, научить чтобы с 2..3 серверами БД одновременно работал.. несколько серверов приложений, и по ним раскидывать пользователей...

правда не знаю как у постгриса с древовидными запросами
с другой стороны, понятно, что оракл и DB2 конечно круче... и так как есть сервер приложений, то много лицензий не надо )
...
Рейтинг: 0 / 0
Выбор БД под высоконагруженную задачу
    #35650114
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChapaiМаксимум ошибки - в 2-3 раза.

К сожалению(((Вы заявляете нагрузку, сравнимую со всем Яндексом (у того в среднем 2200 хитов в секунду за последние пять рабочих дней), и спрашиваете о выборе СУБД???
Я понимаю, что сложность Яндексовых хитов сильно больше вашей, но все равно вся картина похожа на некий сюрреализм.
...
Рейтинг: 0 / 0
25 сообщений из 51, страница 1 из 3
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД под высоконагруженную задачу
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]