powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Потянет ли птица
11 сообщений из 11, страница 1 из 1
Потянет ли птица
    #39846653
Swv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Здравствуйте.

Возник такой можно сказать академический вопрос.

база примерно 7 гигов.
внутри таблица организаций. 1000 записей
десяток простеньких справочников.

Таблица персон. миллион записей. персоны завязаны на организации. Просто ссылкой в таблице на таблицу организаций

таблица документов. Сейчас ( в тестовой базе) 15000 документов. в теле документов по тысячи записей. Итого 15 млн.

И вторая группа таблиц документов. ТАм просто первые таблицы документов в другом ракурсе представлены.
В таблице шапки миллион записей. в теле 15-20 на каждую шапку. в итоге - 15-20 млн.



на моем столетнем ноуте (правда с SSD) выборка всех персон по организации занимает в районе 124 мс. в итоге получаем 1000 записей
выборка первого типа документов (по орагнизации и году) - вообще копейки - 15 мс

а из второй группы таблиц документов по организации и году) - 329 мс. многовато, но там запрос практически по всем таблицам

Чисто гипотетически может смасштабироваться в 60 раз по таблице организаций и по остальным таблицам в 20-30 раз. Многовато ))))

Собственно чего хочу понять. А вытащит ли firebird все это хозяйство?

Сценарий использования такой.все эти организации забивают за год в среднем по 1000 персон.
В первой группе документов забивают примерно по 15 документов. в кажом по этой тысячи персон.

вторая группа документов по сути формируется на основании первой. в другом ракурсе просто

ну и плюс клиенты будут смотреть журналы документов.

среда клиента - web.
весь этот объем данных клиенты "забъют" либо более менее равномерно в течении года
Либо второй вариант - в течении 2 месяцев
Это как в масштабе тысячи органиций- клиентов, так и с учетом масштаба в 60 раз

Собственно потянет ли птица?
Полагаю в варианте 60 т организаций все придется "партиционировать" по разным базам
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846670
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SwvТаблица персон. миллион записей. персоны завязаны на организации. Просто ссылкой в таблице на таблицу организаций

таблица документов. Сейчас ( в тестовой базе) 15000 документов. в теле документов по тысячи записей. Итого 15 млн.

И вторая группа таблиц документов. ТАм просто первые таблицы документов в другом ракурсе представлены.
В таблице шапки миллион записей. в теле 15-20 на каждую шапку. в итоге - 15-20 млн.

абсолютно пофигу сколько там миллионов. Вы же их не все читать собираетесь


Swvа из второй группы таблиц документов по организации и году) - 329 мс. многовато, но там запрос практически по всем таблицам

Чисто гипотетически может смасштабироваться в 60 раз по таблице организаций и по остальным таблицам в 20-30 раз. Многовато ))))

если таблица больше в 60 раз, то это не обозначает что запрос будет медленней в 60 раз.

Swvсреда клиента - web.

по сравнению с другими накладными расходами 329 мс это мелочь.

Опять же веб на чём хотите писать?
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846673
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Swv,

Пока не попробуешь на реальных указанных объёмах данных, не узнаешь.
И потом, все зависит, от конкретных критериев этого самого "потянет".
Что то очень похожее апробировал в свое время на концерте БД ДМС-страхования впротивовес и используемому до этого у заказчика Оракулу. Оракул, все равно, справлялся получше, но и FB в тех же условиях, на мой взгляд, был волне себе ничего. Да и смотря ещё какие именно запросы на всём этом хозяйстве предполагается пускать.
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846674
Swv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,

Да я понимаю, что пофиг сколько миллионов. Это я так — для общей картины)
Читать то клиент их все не будет, а только свои. Но может так статься, что в один момент времени могут ломануться все 60 тысяч) врятли конечно, но половина точно

Веб скорее всего extjs на клиенте и нода на сервере.

По количествам одновременных клиентов можно примерно судить по пулу коннектов, который придется держать ноде. Допустим 700—1000. Не загнется ли птица)
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846676
Swv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vlad FSwv,

Пока не попробуешь на реальных указанных объёмах данных, не узнаешь.
И потом, все зависит, от конкретных критериев этого самого "потянет".
Что то очень похожее апробировал в свое время на концерте БД ДМС-страхования впротивовес и используемому до этого у заказчика Оракулу. Оракул, все равно, справлялся получше, но и FB в тех же условиях, на мой взгляд, был волне себе ничего. Да и смотря ещё какие именно запросы на всём этом хозяйстве предполагается пускать.

Критерии думаю такие. Адекватное время отклика (не более двух секунд), не забитая очередь к диску, потребление памяти и проца.

Перефразурую слегка. Сильно мощная железка нужна будет? Что еще на ней и было комфортно админу существовать) в плане отклика интерфейса если птица сожрет весь диск да память с процем

Попробовать то на именно объемах не проблем. Нагенерим. Проблема найти адекватную железку , чтоб на ней потестить.

Вот по этому и спросил. Мало ли у кого опыт есть)
Объемы то не смущают. А вот количество клиентов, запросов и коннектов — да
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846685
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Swv,

ну 1000 коннектов птица нормально держит. И кстати вы там что пул фиксированного размера держать собираетесь?
Или всё таки пул будет динамически расширяться по мере необходимости до некоторого предела и с отстрелом неактивных коннектов по истечению тайм-аута?

SwvЧто еще на ней и было комфортно админу существовать) в плане отклика интерфейса если птица сожрет весь диск да память с процем

Железка конечно приличная потребуется.

ну если использовать SS 3.0, то памяти уж очень много не сожрёт, но экономить не стоит. Проц тоже вряд ли.
А вот диск может

SwvПолагаю в варианте 60 т организаций все придется "партиционировать" по разным базам

скорее всего да, причём возможно не только по разным БД, но и разным web серверам
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846705
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SwvАдекватное время отклика (не более двух секунд)

Ох уж мне эти уэб-разработчики, выкатывающие требование "любой запрос не дольше 200мс", а
потом создающие страницу на угробищном фреймворке, одна загрузка которой занимает пару
минут и сжирает всю память клиента.

SwvСильно мощная железка нужна будет?
Но если посмотреть вооружённым взглядом, то мы увидим две птицы... Три птицы... Лучше
всего, конечно пять птиц.

Это не Оракул, лицензирование не на процессор. К чему ограничивать себя одной железкой?
Шардинг-кластер масштабируется практически линейно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846707
Swv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисSwv,

ну 1000 коннектов птица нормально держит. И кстати вы там что пул фиксированного размера держать собираетесь?


если я правильно помню там размер пула задается в параметре, коннекты "прирастают". как доходят до максимума - так и висят.
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846708
Swv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovSwvАдекватное время отклика (не более двух секунд)

Ох уж мне эти уэб-разработчики, выкатывающие требование "любой запрос не дольше 200мс", а
потом создающие страницу на угробищном фреймворке, одна загрузка которой занимает пару
минут и сжирает всю память клиента.

SwvСильно мощная железка нужна будет?
Но если посмотреть вооружённым взглядом, то мы увидим две птицы... Три птицы... Лучше
всего, конечно пять птиц.

Это не Оракул, лицензирование не на процессор. К чему ограничивать себя одной железкой?
Шардинг-кластер масштабируется практически линейно.



да нормально все с этим фреймворком ) я про extjs. Да, изначально подгружается относительно долго. и с памятью вроде все ок.
А две секунды это нормально. тут смотрел одну госсистему. у нее отклик страниц то очень быстро, то 2 минуты, то таймаут ) хотя можно погрешить на vpn

я так понимаю нужна будет хорошая дисковая.
в общем полагаю расшардировать клиентов на несколько серверов и все.

Понять бы еще примерный порядок цен на сервак. чисто для самообразования )
...
Рейтинг: 0 / 0
Потянет ли птица
    #39846865
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Swvя так понимаю нужна будет хорошая дисковая.В принципе поначалу (пока будете наращиваться до указанных 60 крат, судя по вводным это не более 500 гиг) можно будет обойтись дисками ССД на нутряном рэйде, как начнет захлебываться купите СХД.
SwvПонять бы еще примерный порядок цен на сервак.в самом первом приближении 700-1000 т.р. Хотя я бы поставил хотя бы парочку для фаиловер кластера.
SwvА вытащит ли firebird все это хозяйство?Если программист вменяем.
На сотнях миллионов записей в таблицах и объеме БД до терабайта и тысяче одновременных коннектов - вполне себе работает, причем у многих.
...
Рейтинг: 0 / 0
Потянет ли птица
    #39847183
Roman Simakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Наша скромная статистика может развеять некоторые сомнения. Конечно не на ноутбуке, но речь то о том потянет ли птица, а не ноутбук.
БД примерно 3 Тб
Внутри две таблицы шириной 11-12 столбцов по 800 млн и 1,5 млрд записей соответственно.
Ежесуточно в каждую таблицу добавляются ~ 1,8 млн новых записей и ~1,2 млн обновляются
В каждой таблице есть внешний ключ - поле BIGINT. По нему осуществляется поиск. Выполненние запросов редко доходит выше 100 ms
Пул коннектов = 2000

Т.е. СУБД вполне себе потянет все что надо, если готовить уметь, но железо тоже надо подбирать правильно под нужны задачи.
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Потянет ли птица
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]