|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Здравствуйте. Возник такой можно сказать академический вопрос. база примерно 7 гигов. внутри таблица организаций. 1000 записей десяток простеньких справочников. Таблица персон. миллион записей. персоны завязаны на организации. Просто ссылкой в таблице на таблицу организаций таблица документов. Сейчас ( в тестовой базе) 15000 документов. в теле документов по тысячи записей. Итого 15 млн. И вторая группа таблиц документов. ТАм просто первые таблицы документов в другом ракурсе представлены. В таблице шапки миллион записей. в теле 15-20 на каждую шапку. в итоге - 15-20 млн. на моем столетнем ноуте (правда с SSD) выборка всех персон по организации занимает в районе 124 мс. в итоге получаем 1000 записей выборка первого типа документов (по орагнизации и году) - вообще копейки - 15 мс а из второй группы таблиц документов по организации и году) - 329 мс. многовато, но там запрос практически по всем таблицам Чисто гипотетически может смасштабироваться в 60 раз по таблице организаций и по остальным таблицам в 20-30 раз. Многовато )))) Собственно чего хочу понять. А вытащит ли firebird все это хозяйство? Сценарий использования такой.все эти организации забивают за год в среднем по 1000 персон. В первой группе документов забивают примерно по 15 документов. в кажом по этой тысячи персон. вторая группа документов по сути формируется на основании первой. в другом ракурсе просто ну и плюс клиенты будут смотреть журналы документов. среда клиента - web. весь этот объем данных клиенты "забъют" либо более менее равномерно в течении года Либо второй вариант - в течении 2 месяцев Это как в масштабе тысячи органиций- клиентов, так и с учетом масштаба в 60 раз Собственно потянет ли птица? Полагаю в варианте 60 т организаций все придется "партиционировать" по разным базам ... |
|||
:
Нравится:
Не нравится:
|
|||
07.08.2019, 22:25 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
SwvТаблица персон. миллион записей. персоны завязаны на организации. Просто ссылкой в таблице на таблицу организаций таблица документов. Сейчас ( в тестовой базе) 15000 документов. в теле документов по тысячи записей. Итого 15 млн. И вторая группа таблиц документов. ТАм просто первые таблицы документов в другом ракурсе представлены. В таблице шапки миллион записей. в теле 15-20 на каждую шапку. в итоге - 15-20 млн. абсолютно пофигу сколько там миллионов. Вы же их не все читать собираетесь Swvа из второй группы таблиц документов по организации и году) - 329 мс. многовато, но там запрос практически по всем таблицам Чисто гипотетически может смасштабироваться в 60 раз по таблице организаций и по остальным таблицам в 20-30 раз. Многовато )))) если таблица больше в 60 раз, то это не обозначает что запрос будет медленней в 60 раз. Swvсреда клиента - web. по сравнению с другими накладными расходами 329 мс это мелочь. Опять же веб на чём хотите писать? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.08.2019, 23:02 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Swv, Пока не попробуешь на реальных указанных объёмах данных, не узнаешь. И потом, все зависит, от конкретных критериев этого самого "потянет". Что то очень похожее апробировал в свое время на концерте БД ДМС-страхования впротивовес и используемому до этого у заказчика Оракулу. Оракул, все равно, справлялся получше, но и FB в тех же условиях, на мой взгляд, был волне себе ничего. Да и смотря ещё какие именно запросы на всём этом хозяйстве предполагается пускать. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.08.2019, 23:04 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Симонов Денис, Да я понимаю, что пофиг сколько миллионов. Это я так — для общей картины) Читать то клиент их все не будет, а только свои. Но может так статься, что в один момент времени могут ломануться все 60 тысяч) врятли конечно, но половина точно Веб скорее всего extjs на клиенте и нода на сервере. По количествам одновременных клиентов можно примерно судить по пулу коннектов, который придется держать ноде. Допустим 700—1000. Не загнется ли птица) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.08.2019, 23:10 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Vlad FSwv, Пока не попробуешь на реальных указанных объёмах данных, не узнаешь. И потом, все зависит, от конкретных критериев этого самого "потянет". Что то очень похожее апробировал в свое время на концерте БД ДМС-страхования впротивовес и используемому до этого у заказчика Оракулу. Оракул, все равно, справлялся получше, но и FB в тех же условиях, на мой взгляд, был волне себе ничего. Да и смотря ещё какие именно запросы на всём этом хозяйстве предполагается пускать. Критерии думаю такие. Адекватное время отклика (не более двух секунд), не забитая очередь к диску, потребление памяти и проца. Перефразурую слегка. Сильно мощная железка нужна будет? Что еще на ней и было комфортно админу существовать) в плане отклика интерфейса если птица сожрет весь диск да память с процем Попробовать то на именно объемах не проблем. Нагенерим. Проблема найти адекватную железку , чтоб на ней потестить. Вот по этому и спросил. Мало ли у кого опыт есть) Объемы то не смущают. А вот количество клиентов, запросов и коннектов — да ... |
|||
:
Нравится:
Не нравится:
|
|||
07.08.2019, 23:15 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Swv, ну 1000 коннектов птица нормально держит. И кстати вы там что пул фиксированного размера держать собираетесь? Или всё таки пул будет динамически расширяться по мере необходимости до некоторого предела и с отстрелом неактивных коннектов по истечению тайм-аута? SwvЧто еще на ней и было комфортно админу существовать) в плане отклика интерфейса если птица сожрет весь диск да память с процем Железка конечно приличная потребуется. ну если использовать SS 3.0, то памяти уж очень много не сожрёт, но экономить не стоит. Проц тоже вряд ли. А вот диск может SwvПолагаю в варианте 60 т организаций все придется "партиционировать" по разным базам скорее всего да, причём возможно не только по разным БД, но и разным web серверам ... |
|||
:
Нравится:
Не нравится:
|
|||
07.08.2019, 23:28 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
SwvАдекватное время отклика (не более двух секунд) Ох уж мне эти уэб-разработчики, выкатывающие требование "любой запрос не дольше 200мс", а потом создающие страницу на угробищном фреймворке, одна загрузка которой занимает пару минут и сжирает всю память клиента. SwvСильно мощная железка нужна будет? Но если посмотреть вооружённым взглядом, то мы увидим две птицы... Три птицы... Лучше всего, конечно пять птиц. Это не Оракул, лицензирование не на процессор. К чему ограничивать себя одной железкой? Шардинг-кластер масштабируется практически линейно. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2019, 00:28 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Симонов ДенисSwv, ну 1000 коннектов птица нормально держит. И кстати вы там что пул фиксированного размера держать собираетесь? если я правильно помню там размер пула задается в параметре, коннекты "прирастают". как доходят до максимума - так и висят. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2019, 00:30 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovSwvАдекватное время отклика (не более двух секунд) Ох уж мне эти уэб-разработчики, выкатывающие требование "любой запрос не дольше 200мс", а потом создающие страницу на угробищном фреймворке, одна загрузка которой занимает пару минут и сжирает всю память клиента. SwvСильно мощная железка нужна будет? Но если посмотреть вооружённым взглядом, то мы увидим две птицы... Три птицы... Лучше всего, конечно пять птиц. Это не Оракул, лицензирование не на процессор. К чему ограничивать себя одной железкой? Шардинг-кластер масштабируется практически линейно. да нормально все с этим фреймворком ) я про extjs. Да, изначально подгружается относительно долго. и с памятью вроде все ок. А две секунды это нормально. тут смотрел одну госсистему. у нее отклик страниц то очень быстро, то 2 минуты, то таймаут ) хотя можно погрешить на vpn я так понимаю нужна будет хорошая дисковая. в общем полагаю расшардировать клиентов на несколько серверов и все. Понять бы еще примерный порядок цен на сервак. чисто для самообразования ) ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2019, 00:40 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Swvя так понимаю нужна будет хорошая дисковая.В принципе поначалу (пока будете наращиваться до указанных 60 крат, судя по вводным это не более 500 гиг) можно будет обойтись дисками ССД на нутряном рэйде, как начнет захлебываться купите СХД. SwvПонять бы еще примерный порядок цен на сервак.в самом первом приближении 700-1000 т.р. Хотя я бы поставил хотя бы парочку для фаиловер кластера. SwvА вытащит ли firebird все это хозяйство?Если программист вменяем. На сотнях миллионов записей в таблицах и объеме БД до терабайта и тысяче одновременных коннектов - вполне себе работает, причем у многих. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2019, 11:38 |
|
Потянет ли птица
|
|||
---|---|---|---|
#18+
Наша скромная статистика может развеять некоторые сомнения. Конечно не на ноутбуке, но речь то о том потянет ли птица, а не ноутбук. БД примерно 3 Тб Внутри две таблицы шириной 11-12 столбцов по 800 млн и 1,5 млрд записей соответственно. Ежесуточно в каждую таблицу добавляются ~ 1,8 млн новых записей и ~1,2 млн обновляются В каждой таблице есть внешний ключ - поле BIGINT. По нему осуществляется поиск. Выполненние запросов редко доходит выше 100 ms Пул коннектов = 2000 Т.е. СУБД вполне себе потянет все что надо, если готовить уметь, но железо тоже надо подбирать правильно под нужны задачи. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2019, 18:25 |
|
|
start [/forum/topic.php?fid=40&fpage=21&tid=1560624]: |
0ms |
get settings: |
7ms |
get forum list: |
13ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
49ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
2ms |
others: | 435ms |
total: | 574ms |
0 / 0 |